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最 优 停 止 理论 是 慨 率 论 中 一 个 具有 很 强 应 用 背景 的 领域 , 它 
的 产生 可 溯源 很 久 . 但 60 年 代 以 来 的 发 展 是 主要 的 。Chou Yuan- 
shih,H. Robbins,D, Sigmund 合 著 的 “Great Expectation ，The Theory 
of optimal stopping ”与 前 苏联 学 者 A.N. Shirayayev 的 “Optimal stop-. 
ping rules” 是 该 领域 的 两 本 专著 。 前 者 主要 讲 离 散 时 间 的 最 优 停 
止 ,后 省 主要 讨论 马 氏 过 程 的 最 优 停 止 .十 几 年 来 ,我 们 一 直 以 这 
两 本 著作 为 主要 的 材料 为 硕士 研究 生 开 设 了 这 一 方向 的 课程 , 同 
时 开展 了 最 优 停止 理论 及 其 应 用 的 研究 工作 。 本 书包 括 了 我 们 的 
一 部 分 研究 成 果 , 也 福 恬 了 前 两 本 书 的 主要 内 容 。 

第 一 章 讨论 有 限 情 形 ,特别 是 各 类 秘书 问题 .这 节 也 可 供 大 学 
本 科 生 阅 读 , 可 以 作为 指导 学 士 论 文 的 参考 。 

第 二 章 一 般 理论 ,主要 讨论 离散 情形 。 与 文献 L1] 相 比 ,我们 增 
加 了 最 大 .最 小 最 优 停 时 ,最 优 停 时 的 唯一 性 ,Rasche 方法 ,约束 最 
优 停 时 与 多 目标 最 优 停 止 等 内 容 。 

第 三 .五 章 是 关于 马尔 可 夫 序 列 与 马尔 可 去 过 程 的 最 优 停止。 

第 四 章 讨 论 连 续 时 间 的 量 优 停止 ,特别 是 停 时 类 的 紧 性 与 BC 
拓扑 ， 

第 六 章 讨论 多 指标 最 优 停止 ,研究 了 两 指标 最 优 停 点 的 存在 
性 与 构造 . . 

最 优 停 止 理 论 这 一 领域 的 丰富 内 容 决 非 一 本 书 所 能 包容 的 ， 
如 果 它 能 对 有 兴趣 的 研究 考 有 所 硕 动 , 那 就 达到 了 我 们 的 愿望 。 

本 书 的 编写 与 我 们 的 讨论 班 及 硕士 点 的 工作 是 紧密 相 联 的 ， 
所 以 我 要 感谢 参加 讨论 班 与 硕士 点 工作 的 同志 ,特别 要 感谢 罗 建 
书 . 易 东 云 两 位 同志 为 第 六 章 提供 了 初稿 ,感谢 国防 科技 太 学 研究 
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引 论 


我 们 常常 面临 各 种 各 样 的 决策 ,决策 理论 的 主要 任务 是 告诉 
决策 人 ,采取 什么 样 的 策略 将 会 得 到 最 大 的 利益 .有 许多 决策 都 可 
以 简单 地 归结 为 是 继续 (做 某 件 事 ) 或 是 停止 ?> 所 谓 最 优 停止 理论 
就 是 研究 何 时 停止 最 为 有 利 的 数学 理论 。 当 然 一 件 事 的 停止 往往 
是 另 一 件 事情 的 开始 ,比如 战争 的 停止 就 是 和 平 的 开始 ,对 甲 工程 
投资 的 停止 就 可 能 是 对 某 乙 工程 投资 的 开始 .在 这 个 意义 上 ,最 优 
停止 理论 也 就 是 最 优 开始 理论 。 

赌博 是 生活 中 的 丑恶 现象 ,但 我 们 邦 常常 以 此 为 例 , 因 为 它 确 
是 一 个 很 直观 的 随机 现象 的 模型 ,许多 经 济 活动 也 都 带 有 “机 会 ” 
的 色彩 。 

一 个 赌 徒 在 进行 了 若干 次 赌博 之 后 (他 总 是 有 输 有 赢 ) ,很 关 
心 如 何 决定 他 的 策略 ,是 继续 赌 下 去 有 利 还 是 停止 赠 博 为 好 ? 

一 个 统计 试验 工作 者 常常 要 问 ;虽然 继续 试验 可 以 获得 更 多 
的 信息 ,但 每 做 一 次 试验 总 要 耗费 人 力 与 物力 , 巫 此 在 做 了 若干 次 
试验 之 后 是 继续 做 试验 还 是 停止 呢 ? 

甲 . 乙 两 个 军事 集团 进行 了 若干 战斗 之 后 (此 时 可 能 各 有 胜 
负 ) ,从 菜 方 和 益 而 言 ,自然 楼 提出 是 停战 还 是 继续 打下 去 的 问题 。 

一 个 投资 者 在 向 甲 企 业 投资 了 考 干 年 之 后 ,观察 企业 的 效益 
与 整个 经 济 形势 自然 也 会 据 出 是 停止 投资 ( 即 转变 投资 对 象 ) 还 是 
继续 投资 更 为 有 利 的 问题 。 

如 此 等 等 ,我 们 可 以 举 出 更 多 的 实例 .本 书 并 不 旺 直 接 来 解决 

-1]* 








上 述 种 种 现实 的 问题 ,但 它们 的 数学 抽象 却 为 人 们 指出 了 解决 这 
些 问 题 的 途径 。 
让 我 们 从 几 个 简单 的 例子 开始, 说 明 什么 是 最 优 停止 理论 ， 
例 1( 加 倍 或 输 光 ) 重复 掷 一 均匀 的 硬币 。 每 拖 一 次 我 们 者 
可 以 停止 或 再 搓 一 次 ,每 一 步 所 做 的 雇 断 取 快 于 记 今 为 止 所 掷 出 
的 结果 。 假定 我 们 考虑 的 是 有 限 次 总 要 结 吉 束 的 游戏 ,车 撕 # 次 后 停 
目 ， 假设 所 得 的 报酬 是 


六 二 机 mnt 1) : «1) 


其 中 ,y 一 1 表示 第 ;次 掷 出 正 面 ,否则 y 一 一 1 于 是 当前 = 次 都 掷 
”出 正面 的 报 醚 是 2+: .ny Ca 十 1) ,否则 ( 即 只 要 在 前 次 中 有 一 次 
弄 现 友 面 ),% 一 0. 一 般 说 来 ,停止 在 第 = 步 的 报酬 X, 二 了 Cy，…， 
多 ), 其 中 了 是 某 一 函数 。 ， 

一 个 传 时! 是 一 个 随机 变量 。 在 例 1 的 情形 :之 oo. 一 般 地 ,t 
取 值 于 {i ,2,3,… ,十 oo0), 并 且 {t 一 #》E oly sv，…, 加 .这 珍 表 何 
时 停止 取决 于 迄今 为 止 的 观察 结果 (或 称 为 信息 )。 称 

FF = SUP EX 

为 报酬 序列 {X.} 的 值 ,这 里 上 交界 是 对 一 切 使 得 &X, 有 意义 的 售 
时 :来 取 的 。 而 避 宪 未 数学 期 望 ,对 于 随机 现象 来 说 ,X(w) 最 大 是 
没有 实际 意义 的 ,我 们 只 能 讨论 在 概率 平均 的 意义 上 ( 即 数学 期 
望 ) 的 最 大 全 问题 ,并 且 总 假定 VY 4,BX, 有 限 。 

记 地 一半 为 停 时 :Br 之 十 co), 容易 证 明 


天 一 sup BX | . 
事实 上 ， Vzsup BX, 是 显然 的 ， 设 1 是 一 个 停 时 ， 有 ay, 存在 。 如 果 
EXe co, 则 有 一 一 so 而 有 > 一 ce。 于 是 sup EX EX,> 


EBX. 因此， Psup EX 


如 果 存 在 ce 可 使 得 BX。 一 P, 则 称 v 为 最 优 停 时 。 
Ds 





记 “ 吕 一 门 全 为 停 时 , 且 4co .6.}; 称 C 中 的 停 时 为 牌 止 
规则 (简称 为 规则 ,并 记 | 
= sup BX . 
如 果 存 在 co€C, 使 RX 二 Vr , 则 称 9 为 最 优 停 止 规则 ‘简称 为 最 优 
规则 ) 。 
现在 继续 讨论 例 1, 令 0+= TECH 村, 则 cc 显然 
上 下 lim sup BX 


蔷 因 为 {<co 4.8， lim int. Fatou | 理 易 知 
BX 一 加 lim 天 区 lim 有 Xe lim sup BX, 
所 以 ,一 limsup BX,. 我 们 还 可 证 明 :y 1€ 小 ,BXr<BX,. 事实 上 ,在 
oy1,… i) 的 原子 A= {6:0) = (0) =1} ,X=n + 
2 十 1) ,因此 当 wE4 时 
BOX |) = Gt DD) 2H/ at) > Xm) C2) 


而 在 fy;Cw ) 一 一 1 上 ,Xi 一 Xi 一 一 X 一 0, 于 是 总 有 BECK | 
信 ) 字 XX.. 这 样 对 一 切 1€Ec 


EX, 一 > 


(| zx dy 的 记号 , 余 同 。) 从 而 ， 
上 一 sup EX 


下 
< >| tt = EX SEX, 
i=1 人 


Crmi 


lim sup EX, 
rm er 


Dt+ 1 


2 ly 
“天 十 Dre 


但 是 本 例 并 不 存在 最 优 规则 ,事实 上 ,YY 1E0, 由 于 CX 1 字 小 实 
3 。 





后, 不 难 知道 


EX, = 站 二 | 十 | 
> * 之 [Cig = = =1] * 2 [3 est 帐 ?1 一 一 匡 
、 
如 | 六 
~ 二 i 十 2 [ea i 
= BX 


所 以 任何 :EC 都 不 是 最 优 的 。 

顺便 指出 ,C2) 式 表明 在 任何 时 刻 a, 如 一 家 只 有 正面 出 现 , 那 
么 再 毛 一 次 一 定 会 获得 更 大 的 期 望 报 柄 。 所 以 在 金 是 正面 时 停止 
总 是 “因素 "的 .但 是 如 果 我 们 不 在 某 一 步 * 原 春 ?" 地 停 下 来 ,也 即 在 
一 直 出 现 正 面 时 一 直 财 下 去 , 那 就 必然 会 出 现 一 次 反面 ,而 最 后 的 
报酬 水 远 是 零 。 所 以 每 一 步 似 平 是 “聪明 ”的 策略 将 导致 最 坏 的 结 
局 。 这 是 一 个 定 有 启 沾 性 的 例子 。 由 例 1 可 见 ， 

C1) 最 优 规 则 可 能 不 存在 , 何 时 存在 呢 ? 如 果 存 在 ,怎么 表达 
呢 ? 

(2) 既然 每 一 步 的 “ 姐 明 ”策略 都 可 能 是 拙劣 的 ,但 一 列 好 的 
策略 的 极限 形式 也 可 能 是 拙劣 的 ,那么 在 什么 条 件 下 不 会 发 生 这 
种 情形 呢 ? 

显然 .最 优 规则 是 否 存 在 与 所 给 定 问题 的 梳 率 结构 有 关 , 也 与 





报酬 函数 的 给 定 有 关 。 
例 2( 报 酬 等 于 平均 数 )” 诸 包间 合 1, 设 报酬 序列 为 
区， 一 0, 十 名 十 … 十 天) (3) 
先 考虑 特殊 的 停止 规则 
1,y=1 


(4) 
lw 三 一 1 且 x 是 第 一 个 整数 ， 使 蕊 十: “十 所 一 


为 了 证 明 : 是 停止 规则 , 即 P(t<ee) 一 1 我们 有 
命题 1 设 诸 # 如 例 1,3. 一 和 ,So 二 1 出 
* 





PT limsup S, 一 十 eco] 一 中 litminf &, 一 一 co) =1 
P(S, 取 到 每 个 整数 值 无 穿 次 ) = 二 1 
证 明 记 4 一 As 3 让 ,对 和 这 1 


g; 一 | 二 1,sup > ， 久 2 一] 
"> 位 


二 P(g =~lsup D> j 汪 1 
n t= 


二 Lp( sup 局 宇 六 1 十 了 sup 8. 溢 了 十 了 1 
2 a 2 本 
二 二 (gy 十 gj!) 
2 9 +1 
所 以 9 一 C5 十 因为 9 委 1, 所 以 6 一 0 于 是 9 一 % 一 1, 即 Plsup 二 
字 矿 =]1 ,对 任何 j 沪 1 成立。 因而 . 

Pllimsup », 一 十 =) 





一 BfSup 8, = 二 col 
过 | 


= P(N {sup $j)l=|1 
= LE= . 


由 对 称 性 
. Pliiminf 8, =— 0°) = 1 
从 而 PCS 取 到 每 个 整数 值 无 穷 次 ) 一 1 
日 命题 1, 对 几乎 所 有 的 @, 总 存在 6 的 子 列 赵 于 士 co. 因此 
不 论 所 二 1 或 一 1, 总 存在 有 限 的 nn 使 8, 一 0. 于 PKtccec 3 一 1 


对 54) 式 定义 的 二 EX 一 二。 工 十 于，0 一 也 :从 而 总 ,但 


xs , 故 扫 1. 但 是 我 我 们 部 乒 不 到 一 个 使 8X 之 0.9 的 例子, 也 难 
以 证 明 r 志 0.9, 更 不 用 说 去 找到 FF 的 精确 值 和 决定 最 优 规则 了 。 
对 这 个 问题 的 研究 已 有 一 系列 论文 ,读者 可 参考 文献 [5,6]。 
如 果 限 于 在 11,2,…",N} 中 考虑 最 优 规则 ,情形 就 不 同 了 。 因 
= 








为 对 于 有 限 向 量 (# 加， ,Fy ) 一 十 1, 可 以 划分 为 2* 个 原子 。 
在 每 个 原子 上 ! 至 多 取 w 个 不 同 的 值 ,所 以 一 切 可 能 的 停止 规则 
至 多 有 尺 . 2* 种 不 同 的 取 值 ,从 理论 上 来 说 最 优 规则 一 定 可 以 找 
_ 到。 但 其 实 这 是 办 不 到 的 。 比 如 取 尺 二 100; 则 入 ，2*as103. 如 用 
亿 次 机 进行 计算 ,即使 把 算 每 个 BX, 算 做 一 次 运算 ,也 得 花 3000 
亿 年 ! 虽然 如 此 ,但 先 限于 N 的 思想 是 可 取 的 。 如 暴 限 于 w, 求 出 
.最 优 规 则 oy 及 性, 再 令 六 coo, 考虑 其 极限 。 因为 。 
[= sup EX, 

是 w 的 单调 非 降 函 数 ,所 以 V'= lin 是 存在 的 ,但 是 Y=V' 吗 ? 
即使 一 请 ,那么 最 优 规则 * 是 否 存在 , 且 0 一 timey 吗 ? 如 果 V 关 
V' ,能 否 找 到 有 效 的 方法 把 Y 介 于 两 个 彼此 接近 的 可 计算 的 上 下 
界 之 间 呢 ? 

下 面 的 俩 子 说 明了 天 哺 ， 

例 3 诸如 例 1, 设 

让 一 Imint ,加 十 一 六 一 1] .3 
考虑 特殊 的 停止 规则 
ti 二 infla 宇 1: 记 十 下 十 所 二 1} £5) 
由 命题 1 可 证 PL<oc) 二 41. 县 | 


sx i- sti)>0 


因此 y>>0. 为 了 计算 的 值 ,我 们 先 求 P(1==)。 设想 有 一 质点 在 
5 一 co,0] 上 作 随 机 游 动 ， 其 中 0 为 吸收 蕊 ， 质点 每 次 移动 1 个 单 
- 位 , 且 向 左 或 向 右 移动 的 概率 都 是 二 . 于 是 一 个 处 在 一 1 处 的 质点 
在 第 ” 步 被 0 点 吸收 的 概率 恰 为 pu, 记 
,一 P( 处 于 < 处 的 质点 在 第 4 步 被 吸收 的 概率 》 
则 当 zs 委 一 1,n 宕 1 时 ,有 
-be" 


Kat 一 Fn 一 Ha) C6) 
显然 有 边界 条 件 
doo 一 1 Wa 二 = 人 C7) 
引入 分 布 人 .四 的 母 丽 数 
上 Cs) 一 DD 
由 (6) 及 (7) ,可 得 
Ws) 一 二 Casa(s) + ts-1ls) 8) 


上 述 (8) 是 差分 方程 , 它 的 两 个 特 解 
A(s) = (1 wie)/s, hs) = (1— vi—e)/s 
于 是 
Us)=AC) Hs) + Be) (Me(s) 入、 
由 (DD) 式 ,] = 二 Wo(s) 一 ACs) 十 8(s). 母 函数 在 1s 所 1 上 一 致 是 绝对 
收 侣 ,因为 和 (3) 之 1, 当 2 一 0o0 时 ,各 (8) 王 十 oo 可 见 必 须 Bs) 二 
0,4C8) 二 1, 所 以 | 

pz = [00+ wiI— s/s {9 . 
取 = 一 1;, 则 

Ws) = Vs)/s = SY 2 DE gtiC10) 


< 《2 十 2)11- 
式 中 约定 (一 1)11 二 1, 从 而 





， PC 一 28 一 
~ _ (2a — 19}11 
PC 一 2a 十 1) 一 CA F211 


om 


， 1 1 IT 
而 名 T= 这 TD) 和 2 wT CnT2y11” 比较 


C10) 式 , 可 见 








由 











， 1 1 一 /I—# 
go;=| ds = 2in2 1 


| 下 面 说 明 55? 式 所 给 出 的 :是 最 优 规则 。 设 太 是 任 一 个 停止 规 
则 ,由于 (ari 和 81} 仑 多 .与 所 是 独立 的 , 故 


> C3 
al D5.) 一 了 Bios<n 党 >， Ey PUs sy 一 0 
-i 二 1 i=l 


注意 到 在 24>1 上 ,tS. 寺 是 


BXs = BXal{ Srl) 十 EXalt Src) 
4 Bl 


， 了 s = S |， 
SY BTL (E> + 2 a) 





EF i Se) Diy>1) — si) Bey 


4 一 了 


入 | 


= BX, 
， 这 表明 :是 最 优 规 则 ， 二 此 VV 二 EX,—21n2—1. 

但 是 对 于 仅 在 {1;2,…,N; 取 值 的 停止 规则 8, 由 wald 方程 如 
{十 下 十 所 ) 一 By1* 如 二 如 ;从 而 





1 a 1 hey 
EXs & Ey + + ys) s| si)< 


于 是 


a 1 
V5 imF* 一 万 


Nn 2 
VF 
把 例 3 修改 一 下 ,得 屿 一 个 一 十 ce 的 例子 。 
例 14 设 六 os “是 独立 的 随机 变量 


ply, = 1 wm) 一 PO 一 一 一 4) 一 





1 
2 


了 142， 


1 
GD 
令 苇 二 名 十 十 针 Cn 汪 1) 为 第 nt 步 停 止 的 报酬 。 国 为 元 ;二 一 a7<<0， 
看 来 似乎 不 论 用 什么 样 的 停 上 规则 ,停止 后 的 平均 报酬 总 要 小 于 
0, 其实 不 然 , 如 令 

5 = inffa 1: > 十 %) 一 入 . 
这 里 是 任 意 给 定 的 正 整 数 ， 由 命题 1 可 知 t 是 一 个 停止 规则 ,而 


BEX, — B[ Ds) 








由 于 上 是 任意 给 定 的 ,可 见 一 十 cc- 

上 面 的 鱼子 使 我 们 初步 了 解 到 什么 是 最 优 停止 的 问题 ,也 使 
我 们 看 济 了 最 优 停止 问题 中 各 种 不 同 的 情形 。 现 在 来 正式 叙述 最 
优 停止 问题 的 数学 定义 。 

今后 我 们 假设 

让 (RQy 祈 ,PP) 是 一 个 完备 的 概率 空间 ， 

让 ) 《多 JP 是 一 列 递增 的 .多 的 子 代数 , 即 Ya 多. 它 . 多 ii 

ii) 一 列 随 机 变量 (CX)%1, 称 之 为 报酬 函数 序列 。 对 于 每 个 4， 
,是 多, 可 测 的 , 简 记 为 和 EF,, 且 称 {X,,. 多 ,}2 ,为 随机 序列 。 

称 取 值 于 {1,2,… ,十 co} 的 随机 变 盘 i 为 停 时 ,如 果 有 Yn， 
{wt 二 4}E 区, 成立。 如 果 还 有 站 PE<co) 一 1, 则 称 # 为 停止 规 
则 ,全 体 停 时 记 为 宛 ,全 体 停止 规则 记 为 宛 - 

通常 我 们 总 是 序 贯 地 观察 到 随机 变量 y,,y，…,y, 而 报酬 洋 
数 是 加,… 4 的 已 知 荡 数 , 久 ,二 0 (gy). . 

记 2= EF ,EX <oo) ,0= {EF ,EX oo0), 称 


r= sup EX, 下 一 sup BX, 


为 随机 序列 {X, ,> ,7 的 信 。 在 §2.5 中 ,将 证 明 V 一 VP. 我 们 感 兴 
起 的 主要 问题 是 ， 

1) 如 何 计算 了 或 了 ? 

2) 是 否 存 在 最 优 停 时 或 最 优 规则 , 即 是 否 存 在 1E 史 ( 或 
也) ,使 得 EX 二 VC 或 六). 

3) 若 存在 最 优 停 时 (或 规则 )， 如 何 表 过， 有 什么 性 质 . 是 否 唯 
一 个 

最 优 停 时 不 存在 的 简单 例子 可 如 下 构造 

设 0 一 (6) 为 单 点 集 ,XX 一 1 一 二 ,此 时 多, 一 一 (8,8),Y tE 


.有 (对 后 帘 一 多 ,因此 +# 必须 等 于 某 一 个 常数 m, 于 是 BX,= 


i 二 1. 但 没有 一 个 iE. ,能 使 EX 二 1 


如 果 {X ,7 是 一 个 上 鞭 序 列 , 且 一 致 可 积 , 则 由 Doob 停 
止 定 理 可 知 ,Y IE EAX 于 是 考 1 便 是 最 优 规则 。 

如 果 {，, 多 .JP 是 一 个 一 致 可 积 的 靳 序列 , 则 由 Doob 停止 定 
理 , 对 VY 1E 卫 ,BX 一 EX, 所 以 任何 :EE 允 都 是 最 优 的 ,最 优 停 时 
不 唯一 。 

下 面 给 出 在 最 优 停止 理论 中 三 个 著名 的 例子 。 暂 时 我 们 只 给 
出 它们 的 数学 模型 ,今后 将 逐步 解 这 些 问 题 , 

例 5 向 书 问题 ) 设想 一 个 经 理 要 从 w 个 姑娘 中 雇用 一 名 秘 
书 。 按照 某 种 标准 ,我 们 可 用 1,2,…,N 分 别 表示 这 些 寻 娘 优 劣 的 
(绝对 ) 名 次 。1 表示 最 优 者 ,w 表示 最 劣 者 。 我们 假设 这 些 关 娘 是 
逐个 到 来 接受 经 理 面试 的 ,并 且 姑 娘 到 来 的 优 省 次 序 是 随机 的 .经 
理 每 次 会 见 一 名 姑娘 ,面试 后 决定 录用 与 否 。 如 果 录 用 到 当时 面试 
的 姑娘 , 则 停止 下 面 的 会 见 ,否则 面试 下 一 位 .我 们 还 假定 ,每 个 当 
时 不 被 录用 的 姑娘 是 不 能 事后 再 招 回 录 用 的 。 在 经 理 每 一 次 面试 

sa 站、 





他 只 知道 当时 的 姑 奶 与 先前 已 面试 姑娘 比较 的 相对 名 次 ,而 并 
不 知道 当时 姑娘 的 绝对 名次。 现在 要 间 经 理应 怎 举 决 定 他 的 录用 
策 路 ,或 者 说 经 理 在 何 时 停止 他 的 会 见 ( 录 用 当时 的 姑娘 ) 是 最 优 
的 ,当然 这 里 最 优 要 有 一 个 标准 ,通常 采用 下 面 两 种 标准 。 
1) 第 一 标准 :使 录用 到 最 好 姑娘 的 概率 最 大; 
2) 第 二 标准 ;使 录用 到 姑娘 的 绝对 名 次 的 平均 值 最 小 。 
现在 建立 数学 模型 。 令 . 
旭 二 ava ody) ; 苯 中 Coaw) 是 (1,2,…,N} 的 一 个 排 
列 } 
区 一 比 人 9: 即 吕 的 一 切 子 集 的 全 体 ， 
对 每 个 样本 点 , 赋 概 率 17w1 ,也 就 是 认为 日 是 一 个 由 和 N! 个 具 
有 同样 税率 的 样本 点 所 组 成 。 
加 二 {zs 0) 中 小 于 等 于 am 的 个 数 , 也 即 a 的 相对 名 次 。 
， or) 
”对 于 第 一 标准 ,我 们 自然 取 报 酬 序 列 
> 1， 如 一 1 
本 ia 1 
但 它 不 满足 多 , 可 测 的 要 求 ,为 此 令 
= Po = 1 R= 





-停止 规则 1 


2X = > | x 
一 >| Pl = 1 多 
1 [对 . 


= Dye 


PE 


= Plam = 1) 
这 里 pla 一 由 就 是 按 停止 规则 : 停 下 来 ， 录用 到 的 m 愉 为 第 一 名 
“11. 





的 概率 ,于 是 按 第 一 标准 的 问题 就 是 要 解 {X, ,多 ,} 的 最 优 停止 问 


题 。 
对 于 第 二 标准 , 取 报 柄 序列 
X= Em{F), n= 12,N 
Y 停止 规则 1: : 
一 Si 一 一 > 如 一 一 加 
kX |x 2, * Ka, 


因此 选取 六 使 Ba 平均 名 次 ) 最 小 , 即 选 取 1 使 有 X, 最 大 ,所 以 按 第 
二 标准 ,我 们 要 解 {X,, 访 ,7 的 最 优 停止 问题 。 

例 红 窃 贼 回 题 ) 假设 有 一 小 偷 ,每 天 偷 一 户 人 家 ,他 每 和 天 所 
获胜 物 的 价值 是 随机 的 ,构成 一 列 独 并 同 分 布 且 期 望 有 限 的 随机 
变量 ,再 假定 他 每 天 被 抓获 而 被 迫 退 出 全 部 脏 物 的 概率 是 ,并 且 
认为 小 偷 柱 第 * 次 行 益 被 抓获 这 一 事件 与 过 去 已 发 生 的 事件 是 独 
立 的 。 现 在 要 问 小 偷 如 何 “ 明 智 " 地 选择 一 个 洗手 不 千 的 时 间 。 值 
得 一 提 的 是 这 只 是 一 个 模型 ,那些 符合 一 旦 失效 便 前 功 尽 弃 的 事 

` 例 大 都 可 归 为 这 个 模型 。 . 
” 用 数学 的 语言 ,令吉 ; 光 ,… 1 为,…* 是 一 列 独立 同 分 布 且 期 望 有 
限 的 随机 变 基 ,让 ,6,… 蚌 一 列 独 豆 变 基 P56 二 0) 二 1 一 Pt6 二 1) 
一 六， 并 设 {x} {二 } 是 独立 的 ,; 今 Soy rar 16.)， 
并 设 
二 本 上。 yy， n= 1,2,: 


窃贼 问 题 就 是 要 解 ;X., 史 .J7 的 最 优 停止 问题 。 
例 7( 停 车 问题 ) 设 有 ?=2,8 二 1, 一 1,.0.1,… 等 位 置 可 
-以 停车 ,@<0, 设 想 我 们 从 位 置 9 开始 顺序 地 选择 停车 点 ,如 果 在 
某 处 不 停 ,那么 只 能 向 前 走 ,不 能 再 返回 , 设 第 : 个 位 置 是 空 着 的 、 
概率 为 p, 且 与 其 它 位 置 是 否 被 占用 是 独立 的 ,当然 我 们 只 是 到 了 
第 个 位 置 才 知 道 它 是 否 被 占用 ,如 果 停 在 第 4 个 位 置 , 则 有 一 定 
* ]2» 





损失 ,假设 其 损失 与 它 离开 位 置 0 的 距离 成 正比 ,我 们 的 目的 是 尽 
可 能 停 在 离 0 较 近 的 地 方 , 从 而 使 损失 最 小 ;下面 建立 数学 模型 。 
人 A - 

6， 第 # 个 位 置 被 占用 

1， 否则 

网 各 上 和 是 一 列 独立 同 分 布 的 随机 变量 , 且 

Pl =1)=p=1—P(y,= 0 


.及 一 


令 
,oye sat 3 
一 5 .0 
让 ;二 ” : 
—|al; "二 1 


于 是 一 名 表示 停 在 第 个 位 置 时 的 损失 , 找 一 个 停车 规则 /使 损 
失 最 小 ,即使 EX, 最 太 , 但 蕊 并 不 可 积 , 先 将 问题 进一步 简化 。 
很 明显 ,如果 我 们 处 在 0 位 置 之 后 ,就 应 该 停 在 第 一 个 空 的 位 
置 上 , 码 此 只 须 考 芽 从 #=@ 到 二 1 的 最 优 停 止 何 题 。 事 实 上 , 令 
二 inf {nr 守 1; 包 二 1} 
那么 对 Y 1E .PF , 若 令 “ 
{=H bdo 


则 吝 污 吝 所 以 只 须 讨 论 如 + 这 样 的 规则 ,因为 
EX, Bh Bro = 一 spr 一 上 | 
所 以 车 令 


ny g,= | - 
1 Qn 0 
一 久 一 0 


则 {2xv 多 -也 刻 划 了 停车 问题 。 


"1 


第 一 章 ”有 限 情 形 与 秘书 问题 


六 循 从 简单 到 复杂 的 原则 ， 我 们 先 从 一 种 特殊 情形 即 有 限 情 
形 开始 。 


§1.1 有 限 情形 


所 谓 有 有 限 情形 , 即 所 考虑 的 报酬 落 数 是 一 个 有 限 序列 {X,， 
多 ,其 中 心 是 一 固定 的 已 基数。 
假设 Y ass 克 , 到 XI<co 令 
={1EF. 1 1) . (C1. 1) 
1 一 Sup BX (1. 2) 


Ect 


显然 对 任何 EO, BIX | 2 BI Xo0. 令 


一 {EC ,ntEN)} 《1. 3) 
下 一 各 ECX | ,) C1. 4) 
> sp Bl ‘2, MN) 1.5) 


ff 
我 们 来 说 明 一 下 的 意义 , 它 的 数学 定义 是 清楚 的 , 它 是 随 
机 变量 族 {2(X| FtEO) 的 本 质 上 确 界 。 一 般 地 , 若 此 为 (8， 
多 ,5 中 一 个 可 测 函 数 的 非 空 族 , 称 可 测 函 数 ?为 .名 的 本 质 上 请 
界 是 指 它 满足 
"14d. 


1 EEN Ws 
2 若 有 是 尾 一 可 测 函 数 ,W SEE 有 a 8， 则 必 Cs 


容易 看 出 若 9 的 本 质 上 确 界 存在 , 则 在 a.。, 意 义 上 必 唯 一 ， 
我 们 有 下 面 的 基本 定理 ， 

设 2 为 (9, 多 ,P) 上 可 测 函 数 的 非 空 族 , 则 .2 的 本 质 上 确 
界 存在 , 且 存 在 ”中 至 多 可 列 个 元 素 ,和 锡 ,… ,使 得 

ep up 

这 个 定理 的 证 明 见 附录 ， 

条 件 期 望 的 概念 是 读者 所 熟悉 的 ,这 里 只 做 一 点 直观 的 解释 ， 
如 果 有 一 可 数 分 割 : 

28= 册 BB 一人 Oi 关 认 ， 多 .一 0( 玉 ;后 1 及)， 








那么 


sol pt RP "fa, 


也 就 是 说 随机 变量 (x|.>,) 在 每 个 原子 B& 上 取 值 为 常数 pc 
] xae , 它 表示 可 在 ! 处 停 下 来 所 得 的 平均 报酬 ,因此 汉 表示 在 


后 停止 所 可 能 得 到 的 最 大 报酬 。 

现在 用 倒退 的 方法 给 出 我 们 的 分 析 ， 如 果 我 们 已 经 进行 到 第 
一 1 步 , 如 洒 
Ky BCX NF 1) 
这 表明 再 考察 一 步 , 可 能 会 得 到 更 大 的 报酬 .因此 应 该 令 最 优 规则 
! 一 六 反之 ,车 -4 衫 二 (X| 多 时 就 应 该 在 第 一 1 步 停 下 
来 ,当然 我 们 还 要 问 是 否 有 必要 进行 到 第 N 一 1 步 ? 于 是 我 们 来 看 
处 于 第 必 一 2 步 应 做 的 选择 , 当 XC-1| 久 wo) 时 取 i1= 六 一 
1, 否则 就 应 该 停 在 第 N 一 2 步 ,依次 下 去 ,就 导致 下 面 的 “动态 规 
+ ]5* 





划 ? 的 定理 ,我 们 称 之 为 后 退 归 纳 法 原则 , 先 给 出 一 个 引 理 。 
虽 理 1.1 :对 于 (1. 定义 的 类 ;有 
=X =max{X ,EO | )}, 《1. 67 
其 中 R= 二 A 一 1,N 一 2,…,1, . 
证 明 Ya 及 守 8C% | 芒 一 XCRD)-EB XX 之 coo, 条 件 
期 望 (WW | 多 .有 意义 。 
设 碟 人 令 下 一 maxgia 二 1) 则 二 入 Ci 
ECX NF) = EE Xe dir | ,) 
= i BEN | ) | ] 
: : Xd iE) . 
由 :ECX 及 任意 性 得 ) | 
Amaxt XE | ,), xs=N—1,",l1 (C1. 7) 
反之 ,只 要 证 坟 实 BCRE41|. 笑 .)。 我 们 采用 后 退 归 纳 法 , 当 n==N 一 1 
时 ,因为 成 二 Xs ;所 以 成 -BCXv | 多 v-1), 息 设 对 N 一 1,N 一 2， 
结论 成 立 , 即 
max (XB | )) 
往 证 a 一 1 的 情形 , 记 二 一 {XB(W41 1 多}， 则 EE .i, i= 
十 1， 一 1, 由 于 
“=a 二 Dla t+ 
十 CN Diale dot Ne ded 
是 一 个 停止 规则 , 且 1EGE0 1,, 于 是 
EC |F,_)=E mx B01 | |, 1] 
=BLX EO | SF |B 
=E[ XH it Xt da 4 1 二 Fed 入 [| 多] 


= ECX, La, 十 六 、 + daca 


wl 


十 十 其 wy 下- | 多， 
=8(X | | 


-1]B" 


合 已 证 得 的 (1.7) 式 , 则 
惟一 maxf na | 1) 
定理 1,2 对 每 个 x=1,2,…+: 衣 , 令 | 
0 =inf {liz>n: Xi } | . {1.8) 


其 中 规定 车 {i 守 六 ) 二 中 ; 则 nf 二 N, 那 么 ofEC, 且 
E(Xx | Y= WEX| SF.) EC (1. 9) 


WV 一 By ,or 在 C3 中 最 优 
证 明 采用 后 退 归 纳 湛 。 显 热 当 1 一 N 时 ,C={N} ,0 二 MN, 
一 Xv* 结 论 显然 成 立 。 现 假设 结论 对 某 个 4 二 2,3,… ,入 成 立 , 往 证 
nx 一 1 的 情形 ,因为 中 Et 信念 志 一 maxfo ya 则 二 所 避 , 且 在 
[上 一 于 一 于 "由 归纳 假设 BCX ,= 已 , 所 以 Y 4 
EP, 


| x =| 四 | Xr 
4 "Tl AN re = 1) A CaS) 


| ， -十 | BCBCXe NF |) . 
ANN te 1 六 间 (9 一 | 守 贡 . 


Nw 二 1 
ADN ia | 1) 


BO 
| LB (| 1 


= | 六， 


于 是 ,ECX。 #1 | 多， _)， 这 里 4EcC- 从 而 EX 
二 1 二 所 14, 定理 得 证 。 


$ 1.2 古典 秘书 问题 


现在 讨论 引 论 中 给 出 的 第 一 标准 的 秘书 问题 ,并 且 假 定 当 经 
理 录用 一 位 姑娘 ,她 是 不 会 拒 聘 的 ,我 们 称 为 古典 秘书 问题 。 
17 本 


ee a 





引 理 13 iD 相对 各 次 序列 页 ,加 ,…* 久 相互 独立 ,事件 { 人 一 
1 与 有 独立 , 且 


Pg =)=T, jl 1,107 


方 ， 若 一 ] 
. 0， 若 思 关 1 

证 明 首先 计算 古典 概率 Pla, 二 1,8, 一刻,… ,如 二 入) ,其 中 我 
们 把 每 个 时 刻 想 象 为 一 个 位 置 ,w 个 姑娘 的 一 切 可 能 排列 有 六 ! 
种 ,为 了 实现 a 二 1, 必 须 让 最 好 的 娘娘 排 在 第 * 个 位 置 上 ,欲求 的 
福 率 与 ”后 到 来 姑娘 的 次 序 无 关 , 所 以 可 从 六 一 1( 去 掉 最 好 姑娘 ) 
中 任 取 入 一 x 名 随机 地 排 在 4 后 的 位 置 ,这 有 (N 一 *)! 种 可 能 的 排 
列 .前 :一 1 名 姑娘 如 何 排列 昵 ?为 了 实现 ,二 部 ,我 们 可 从 一 1 个 
- 人 中 任 取 志 名 ,把 取出 的 二 名 姑娘 中 相对 名 次 为 庆 者 放 在 第 二 位 
置 上 ,w 一 1 一 i 各 姑娘 可 随机 排列 ,于 是 有 cf ,Cs 一 1 一 地 1 种 可 能 
的 排列 , 取 晶 的 二名 姑娘 除 第 广 者 外 还 有 一 1 名 ,为 了 实现 头 -， 
二 -1 我们 及 从 主 一 1 名 中 任 取 5 名 ,把 其 中 第 j;_, 好 者 放 在 第 
5- ,位置 上 , 余 者 可 随机 排列 。 如 此 一 直 把 全 部 姑娘 都 排列 好 ,这样 


Pla, = 1,% 一 放 的 一 办 》 


ii) 报酬 序列 x C1.11) 


= CY) 1 Ou CR li) 1 CR 一 1 一 2 工 
1 一 1 
111 1 





显然 ,Pa 一 TD 一方 ,PG 一 用 一 十 C(N 一 DT 一 D1! = 二。 所 以 
事件 fa 一] 与 责 ， 久 人 扫 全 独立 , 且 及 ,六 相 互 独立 ,于 是 妈 
得 证 。 且 
KX, = Pla, 一 工 .多 
= prla, = 了 十 | 各) 

= 1 。 





一 > : | tin 
之 FD) a 


因为 [a=1]Cfy=1],[.=1]N 人 [== 名 ,f=2,3,., 所 以 
X, = P(g, 一 了 二 | 加) 





1 ， 
一 p= ll) :ity = 1) 
如 四 

引 理 得 证 。 

定理 1,4 第 一 标准 的 古典 秘书 问题 的 最 优 规 则 是 
S=inf{n23r* :的 一 外 ， (1. 12) 

。_ ， 1 ， 1 
其 中 ”一 intfr 21; 7 才 or + Nl} 《1. 13) 
x 7 一 工 

并 县 加 阁员 0 


证 明 由 定 理 1.2 可知, 最 优 规 则 为 
一 jnf 人 1 和信 
这 里 我 们 简 记 天 为 wm, 国 为 内 一 区 一 Po 一 1 及 ) 它 是 yx 的 函数 
与 高 ,yy 独立 ,天 
入 -一 max(Xv is Br | ,1)) 
一 max(tX, Ey) 
— max{(X,. .Vy) 
这 里 我 们 简 记 玲 为 ,py 是 jy-! 的 函数 ,与 总 并 ,了 从 
而 ， "依次 可 得 Y ns 让, 一 Imax(X,7,-1), 于 是 
of =inf{aSl: X=) =inf{n 1 Xr}. 
为 方便 计 令 和 一 证 富 -图 所 -一 相 * 六 六 ,因此 


所 尖 之 … 沁 Vs 一 BX 一 调 , 由 (1.11) 式 以 及 数列 十 , 襄 ,… 是 递增 


的 ,因此 必 有 正 整 数 了 +, 司 当 nr* 时 ,六 区 六 si ,而 当 sc 时 ,六 
。19 。 


< 让 这 样 的 "是 唯一 的 , 故 
or =inf {a 1: X11} 


~—inf {a2>1; V1) 


~—inf ln2er* :13#,—= 1} a8, 


六 
下 
EXs 一 也 上 -as 


-站 P(g 1 1 A 


lo Li) i 

Pst "tl 站 T) 

ld 1 

= 二 ~ 2 (01.15) 


既然 BXs 一 FF, 如 将 (1. 15) 式 中 7* 换 为 +, 可 将 BXs 可 看 成 是 ” 的 函 
数 pr) ,那么 or) 必须 在 7 处 到 到 最 大 值 ， 由 于 
pl) pt) = > iE) 
4 一 r 十 上 


它 在 大 的 ” 为 正 数 , 即 mr] 盖 mr 十 1) ,因此 极 大 点 
r* 二 jnf{r 守 1; EA 























=inf{r 守 1; 二 十 1} 
下 面 讨论 ”(X) 的 极限 性 质 ,由 ”的 定义 
<1< 于 二 
于 是 一 四 
[3 Eh ssi < je 
从 而 








即 
Li 
同 理 
3 1 ~ | 『 
二 di < < 二 
| _] YE I< dy 
和 
了 是。 名 半 记 Ti 
Hn py 一 工 
Ns e 
定理 证 毕 。 


现在 设 一 100, 则 ”一 36. 8. 于 是 根据 定理 1. 4, 经 理 只 面试 
前 36 位 到 来 的 姑娘 而 不 录用 ,直到 从 第 37 位 开始 录用 第 一 个 到 
来 的 {与 前 面 比较 } 最 好 姑娘 。 采 用 这 样 的 策略 ,经 理 可 望 以 0.368 
的 概率 录用 到 最 好 的 秘书 。 | 
下 面 讨论 平均 名 次 最 小 的 秘书 问题 , 即 第 二 际 准 古 典 秘书 间 
题 。 
引 理 1.5 站 对 每 个 L<SR<X， 














sr 1 OF- nn 
Pea, 下 | .多 1) Pra, Ek | 2 — Eo 
2=1 


Os 
C1, 15) 
Mm 
ii) sla ly ~—)) = jl 2 C1. 16) 


证 明 1) 如 引 理 1. 3 的 证 明 ,通过 计算 概率 P(e, 一 和 一 站 ， 
二 以 证 明 {m= 二 村 与 oes- 如 -独立 ,因此 
Pla—Ek| Pa =|y,.) 
SP 


一 - 7r =， 
fi (二 站 





”如 1] 
































OarR—1)! 《和 一 1 
-> N1 An d= 
= 2 二 站 这 7 
ii) gCa,|, = = pa * PCOm = | = 7) 
OO 
3 a, 
-也 CO CO 
一 Cpc ) 人 
+l; 
17 
、 有 _N+1 ， 
这 样 ,有 (ao | 实 ,)) 二 ECm|y.) 二 5 二 和。 证 毕 。 
由 引 理 1. 5 可 知 ,第 二 标准 的 秘书 问题 的 报酬 序列 
_ N+t1 
二 一 富生 了 交 (1.17) 
定理 1. 6 第 二 标准 秘书 问题 的 最 优 规 则 是 
疝 一 inf1n 1 的 < )} - C1. 18) 
其 中 一 [一 基于 pl], A=N—lN 2 lS =0 
[， J] 表示 取 整 运算 。 
.Nl 
Vy Ta . i1.19» 
十 1 . oO 
= Evi tr, Ta 1 (C1. 20) 
这 至 及 今后 ,Ab 各 未 min(a,b)， ?可 不 max(a,b), 
证 明 由 于 Vx=BXy 一 一 8( 闻 生生 一 各 一 县 中 


… ,gxv 相互 独立 ,用 后 退 门 纳 法 可 证 
= A Els 一 2: 一 | 
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少 


六 十 工 




















一 一 LIA+， 下 一 点 一 1 各 一 2 
心 一 | 
而 
™ 
| 二 LB A Vr1)] 
= 一 二 2 AC V1))} 
,NTIS ,tl 
TT EAL NT Ye 
= 一 广 { 人 (2 二 SC) 
因此 ,最 优 规则 


oY =inf tn2]1:X, =y. 

二 inf {a 这 1 ;XX 汪 序 ,+1} 

. Ni ; 
二 inf {rn 这 1 pV) 
一 inf{n 守 1 各 5 )} 二 心 得 证 
顺便 还 可 知 

Wil 
. ny 
信和 及 3 玉生 和 [六 ] 


在 文献 [7 中 还 证 明了 











limr* = — [ci yi 3, 8695 C1. 21) 
Vm j= J . 


§ 1.3 一 般 报 酬 函数 下 的 可 拒绝 秘书 问题 


秘书 问题 是 一 个 富有 趣味 和 实用 意义 的 模型 ,因此 许多 从 事 
3 。 


最 优 停 止 理论 研究 的 学 者 都 从 各 种 不 同 的 角度 出 发 ,推广 与 深化 
了 秘书 问题 的 数学 模型 ,1975 年 Smitht9 研 究 了 第 一 标准 下 ,每 位 
姑娘 都 以 固定 的 裕 率 拒 聘 的 情形 ,1986 年 本 书 作者 研究 了 在 
第 一 和 第 二 标准 下 ,每 位 姑娘 以 仅 与 其 绝对 名 次 有 关 的 概率 拒 聘 
的 情形 ,1987 年 李 晓 杰 在 其 硕士 论文 中 研究 了 模糊 目标 的 最 优选 
择 ,实质 上 就 是 一 般 报酬 画 数 下 的 可 拒绝 与 可 招 回 秘书 问题 ,1988 
年 周 健 伟 , 周 晓 文中 进一步 研究 了 一 般 报 酬 薄 数 下 的 可 拒绝 秘书 
间 题 。 
沿用 1.2 的 记号 ,再 记 
1， 车 4 接受 录用 
10， 否则 ,Ta<A (1. 22) 
0 
假定 EL 2 相 于 独立 且 与 8 ss 独立 , 令 
Pla—1 | = ps lk nN (1. 23) 
设 所 ) 是 一 个 单调 不 增 函 数 ,假定 经 理 录用 到 绝对 名 次 为 天 
的 姑娘 ,将 得 到 报酬 为 76 , 若 经 理 没有 录用 秘书 ， 则 报酬 为 
fcoj。 用 总 表示 经 理 在 第 “次 会 见 后 停止 时 所 得 到 的 报酬 , 即 


CG) sf 0] 1.24) 
令 报 酬 国 数 为 

着 一 下 《1. 25) 
易 证 YiE 3 

BXe= BF, = fo rs 0]) C1. 26) 


因此 我 们 要 解 {X,,.F,}? 的 最 优 停 止 问题 。 
先 做 一 些 必 要 的 谁 备 .。 
设 区 蚌 一 个 事件 o 代数 ,多 ,多 : 是 两 全 事件 类 ,如 果 Y 沙丘 
5 ,AE 名 ,有 
PlAAs | BE) 一 已 (4 | GE) » P(Ads |S) 
则 称 名 ,入 甘于 过 杀 件 独立 ,并 记 为 (多 13 ,Ss)。， 


"21" 


引 理 1.7 设 名 ,i=1,2,3,4 是 4 个 事件 0 代数 ,着 (多; | 多 ,， 
,HG | YS ), YS | SV $1), 这 里 党 VN 史 ;二 0 
(UU,), 

本 引 理 的 证 明 可 参考 i12]504 页 。 

记 

i 二 {二 
Bi 二 二 
其 中 ,= 二 0 或 1 1 本 节 还 假定 

AP C=i|t = 二 =P(a =i|m = 
其 中 :i 一 0 或 1,1 委 8 委 " 这 表明 a, 接受 录用 与 否 与 其 相对 名 次 
无 关 。 

bP =i = dB 
式 中 ,i 二 0 或 1,1 专 k 坟 tk. 这 表明 如 果 已 知 m 的 相对 名 次 , 则 先前 
的 信息 空 -: 对 于 预测 她 的 绝对 名 次 及 拒 聘 与 否 不 起 任何 作用 。 

引 理 1.8 Pls, 一 14 一 本 wj 四 二 从 








全 
一 己 (a 一 1|a 一 8 一 及: (C1, 27) 
Plt Th | A 二 Pm 一 | 如一 闪 
1. 28) 


证 明 由 概 定 2) 可 知 tofm) 1o(z) oC)) ,由 假定 户 ,Co (yg) 
Jef2z WV og ,FW), 因 此 由 引 理 1.7, (0o(a.) |otz,)， 多 :Ye 
C9)); 雍 即 (1.27); 由 站; 则 (1, 28) 成 立 。 


引 理 1.9 设 妨 一 oo， 则 


Pla, C=,%, C=] |.Sn) 
一 只 (or 一 开关 一 ] | 所:z》 ， 


NP Sn 
= Pty Do {1. 29) 


证 明 计算 彬 率 PCa= 和 二] | 如 二 三宝 二 
，25 。 





二 , 当 忆 二 09 时, 它 为 0; 当 寺 二 1 时 , 它 等 于 
Piz, 二 1 [a, 一 Ai ‘Bi ) M Pta, 一 Ey iv aB ji j,) 
PlA mis Bi Ps = 1) 





一 入 Pew, 一 EEA Bs PCs = 1) 
= pe Pla = ky = /Plz, = 1) 
_ Np 

《了 29) 式 得 证 ， 


今后 约定 当 mn 时 ,C7 一 0 
引 埋 1. 10 一 般 报 酮 荡 数 下 可 拒绝 秘书 问题 的 报酬 函数 


= Haro -十 fo nn, 1 


=| 


《1. 30) 
式 中 
人 一 4 中 
£7 一 a > FP. CE 1 EHCN] CIE 
(1. 31) 


证 明 由 (1.25),《1. 24) 式 及 引 理 1.9 与 (1.15) 式 
X% BD, | 


Dp ttl FF) te -no 


二 洛 Dyem Pp. |=) fo sn 





= > > 了 了 (本 CT ot Fo es 0] 
引 理 获 证 。 
引 理 1.11 若 Y 1k 
| Dt CO 二 ,二 一 Pre 一 让 C1. 32) 
则 : 


* WP 





则 


7 ]Y 


“(Dl TD ti 


证 明 记 jo mn dm 
Yt 
名 f I pI CE TCA AS 


3 FO pV OS: /C2 


站 


上 | 


ry 





Wn 4 


十 一 将 





一 二 jt) (1 一 Ti 


引 理 1.12 1) 若 
FDI mp Br 1 
Cl. 33) 


< 


二 站 和 1A 和 7 太 1 一 1 
C1. 34) 
2) 落 (1. 32) (1. 33}) 成 立 , 风 
sD) En, ErN,1 人 SIS — 1 (1.35) 
证 明 
1) s+1) 


SM—nTy 
vy 
= Df Doandiei 
CY #= 
a 


- 四 2 FeE 十 1 DP 1€C3— On tO ON ION NY 
一 5 . 


一 人 下 





由 (1.33), 易 知 上 式 第 一 项 小 于 等 于 


一 a 十 /7 


本 1 - 
-CT 一 
全 站 全 


剩 下 的 部 分 小 于 等 于 


= D7 


一 ky 
DA FO pO CASE DperOlc 一 0 
了 而 十 和 11, 
2) 由 引 理 1. 11 及 (1 34) 式 ， Y 1SjSn— 1,1< 妇 sw, 有 
DR Es 


引 理 证 毕 。 
注 1 如 果 用 
4， 1 RAN (1. 32Y" 
代替 (1. 32) 式 ， 则 可 得 
DD 十 蛋 一 二 = 让 Tt) 


ii 
并 且 著 (1. 32)' 与 (1. 38) 成 立 同样 可 推出 (1. 85) 式 ， . 

注 2 如 果 (1， 32) 式 成 立 ， 则 (1. 33) .01,34) ,<1. 35) 三 式 相 
互 等 价 。 

事实 上 , 当 (1. 32) 式 成 立时 ， 由 (3. 12) 可 得 


FD)=FGH DD Np/ ops 
FD py NS 21 pr 2 C)) 


再 由 后 退 归 纳 法 ,车 对 某 #z0j 十 了 各 4.( 四 ; 则 由 引 理 1. 11， 
= 过 1.0 2 +1 GD 





2 1 二) 


去 半 zaG 二 TD 十 (1 一 二 Ja(D 一 at 


(1 34) 一 人 1, 35) 的 证 明 如 前 , 往 证 (1. 35) 一 (1.33) 。 央 
CD 一 AD 


ER (站 = 却 TEx (二) 十 (一 土 )zx (7) 
一 芯 7G 十 DzG 二 1 十 (1 一 训 ) 了 (DPC 


* 28* 


NPN 
所 以 
TOT DPC DF (I) 
从 而 对 一 切 1 所 jj 1 及 
fT DP ri., 
现在 来 求 一 般 报 酬 函 数 的 可 拒绝 履 书 问题 的 最 优 规 则 
定理 1.13 设 (1.33) 式 成 立 , 则 最 优 规 则 是 
Sc 二 inf {1 一 ] ;5.4 二 1 或 ri 和 /00), 有 二 0) 








C1. 367 
式 中 
SC—=sup{l jn rN—1lN—2,.…,1 
C1. 37) 
8 
wp 


十 所 + (一 六 ) 区 十 CF(ec) V FT 一 人 ~) 
1<ca<cw 一 1 cl. 38) 


= 认 2ODPwy+fo0)( 一 喜 ) ,39) 
这 里 约定 inf 二 六 ,sup g@= 一 0, 关 于 空 指标 集 求 和 为 0， 
证 明 由 引 理 1. 10 及 后 退 归纳 法 
办 一 X= 人 EDP tf en 
注意 到 | 
Ply = ja = 1) 
= Plz= 1) "Ply = 有 NN 


= pa = .Py = 1la, = &) 


t= 上 


二 态 
Tw 


性 


Vy=By, 二 沁 Ss Cpyst foo) (1 一 竺 ) 
令 加 (1,37), 则 由 引 理 1. 12, 对 固定 的 吉 当 jj 所 ryt,0)) 半 于 j 不 
et 1 时 时 Dr 
后 如 归纳 法 可 证 六 与 .多 .独立 ,于 是 
=X VE FR,) 
= XV pat 


一 DT tr >) tir, 1 
;=1 一 所 十 | 


. (foo VY Visti} = 0) 
因此 
.二 2 请 二 ren 一 8) 名 十 Uo)V VD 一 各 ) 
(1. 40) 
于 是 最 优 规 则 
of =inf (ln No 1 :n+ } 
一 和 PP 全 2 且 六 一 1 :所 执 32 一] 或 VL 攻 f(00) ,zs 二 0} 
一 六 + “ 
注 3 现在 讨论 带 有 响 用 的 可 拒绝 秘书 阿 题 ,也 就 是 假定 经 
理会 面 z 次 的 费用 为 h(n), 这 里 h(n) 为 * 的 增 函 数 , 于 是 (1. 24) 式 
中 局. 应 为 




















F =F(0 mv tf Co) -一 双轨 
《1.30) 中 因应 改 为 


了 rs(D 一 MDD)twcracD 二 Co 一 MD) 
记 主 (一 .07 一 和 Doo) 二 f(o0) 一 kn) , 子 是 在 C1. 33) 成 
立 的 条 件 下 ,仍然 有 二 (十 由 和 让 11 人 Nl1 态 j 扩 4 一 1, 于 是 
卓 Kih 和 


只 要 在 (1. 40) 式 中 将 rm( 方 ,Fec) 分 别 换 为 二 ( 访 与 并 co) 将 a 换 
为 相应 的 , 则 由 定理 1. 13 可 知 带 费用 问题 的 最 优 规则 是 

六 一 冯 阁 1 一 1 三 8 一] 或 0) ,= 人 0} 
从 51. 34) 式 出 发 ,我 们 得 到 了 最 优 规则 5., 现 在 我 们 从 C1.35) 式 
出 发 , 便 可 得 急 盟 一 个 最 优 规则 Si. 

定理 1.14 如 {1.32) 式 成 立 , 且 f(D) 这 (2) 实 下 空 f(oo), 则 





最 优 现 则 为 
一 iD 人 7 一 TS 或 和 fco) ,和 一 0) 
(1.41} 
其 中 - 
刘 一 j 人 13 有 所 {£1.42) 
d=supli :f(DPpN/RSr (C1. 43) 
Vy 同 (1. 39)。 _ 
Wt ei . 
了 
r= por, 2 2 p08) C1. 44) 
| 一 nr 
一 Ha 。 
外 于) 1 一 全 ， pe nr C1.45) 
1 ， Tc 
月 所 ,. . 
二 之 /到 四， nn 
了 一 上 
(R= 性 起 1. 46 
A i 7), 他 1 ( ) 
1 
0， 站 < 








六 
证 明 由 (1， 32》 式 ,用 一 应 一 … 一 中 .一 疡 ,上 且 出 fF(]1) 守 fC(2) 实 
fCN) 之 J(c0) ,可 知 


nt 字 Vy IDR 十 (co)(1 一 和) 2> (oo) 


1.47) 
* S31] 。 


由 后 退 妇 纳 法 
广 一 RCX, W TD 





=E( SD isn 十 eof -mm VF,+r1) 


一 六 十 DH foo) 一 Vt)+(1 一 高) 





= 


D0 起 C1. 48) 
这 最 后 的 等 式 是 由 于 当 j>4 时 
zDD=BI DP DE EE 
以 及 [1.47) 武 . 令 如 CL 4 起， 则 当 xzrz 时 


y= (1— 可 )y + 本 0 起 
当 7 ro 


NM ni 


| = (1 一 如) 本 


卜 


nr 时 





FO= V+ 
引入 POD .g(a) 如 (1.45), 《1.46}) 所 给 定 ; 则 
Fi pnt tn), 1 和 nN 一 1 
上 由 此 可 解 得 F, 如 (1. 44) 式 所 示 ,于 是 最 优 规 则 


ot =inf {n>1: Ds DHF) 0 
1: 这 


=inf {n>1: Os DI = DF-n P+) 
=inf {rr; | jE 或 二 0H fc) 守 Fnl 
= 心 , | 
一 个 等 式 是 由 于 从 (1.34) ,01. 35) 式 知 , 当 和 过 j 时 
。32 。 


2 (之 fr "i . 证 毕 
sz 规则 的 具体 实现 就 是 ， 在 必 个 人 前 只 面试 而 不 录取 :当面 
试 到 六 丢 ” 丢 "z 时 录用 第 一 个 相对 最 好 者 ,如 果 录 取 不 成 功 , 则 继 
续 观 察 当 w 志 nr 时 ,过 到 第 一 个 相对 名 次 者 奔 i 就 录取 ;如 此 
直到 最 后 ， 
下 面 证 明 在 定理 1. 14 假设 的 条 件 下 ,它们 是 一 致 的 。 
定理 1.15 假设 f(D) 守 (2) 守 1 和) 守 宇 1 (505), 是 (1. 32) 
式 成 并 , 则 5. 二 5 。 
证 明 两 个 最 优 规 则 的 表达 中 都 有 各 =0, 且 fco) 宕 W “的 
部 分 ,所 以 只 要 证 明 前 一 部 分 表达 的 一 致 性 。 
如 5S.) 一 1 ,网 有 某 j 所 2 使 这 j 所 昼 , 鸭 二 115, 是 使 + 
(及 空 局 + 成 立 的 最 大 的 寺 由 久 宇 放 喜 二 (说 宇 (5 ) 这 ry 于 是 xx 
(站 守 站 D 守 六 所 以 !j 入 ,再 由 7)》 的 定 交 (这 Vl 
可 见 rr , 且 包 一 六 所 以 (CoD 扫 2 一 总 (ao). 
反之 :如 S50) 守则 8 这 7 名 (0) 太 jd。 由 7 的 定义 ,六 
站 字 包 i 喜 守信 ris 由 与 的 定义 知人 室 j ;于 是 包 到 
j 和 5 从 而 S(O) 过 # 二 9.(w)。5. 一 5S, 得 证 。 
注 4 设 fD)=1,7() 二 0,2&fEo0, 则 
mr 一 全 
zf 一 一 0 一 
x 一 1 | ) . 
这 就 是 [9] 所 讨论 的 可 拒绝 的 第 一 标准 秘书 问题 ， 由 《1. 48) 式 


nh 
VF ,= 二 














令 熙 二 inf {x 这 1: 洗 全 久 +;, 则 


pO 
1 一 下 十 上 nr 


Fes RT 
+ 本 号 


解 此 差分 方程 使 得 ， 
nn 








}， 
| 一 rr rs 一 1 
Fr， 
(C1. 49》 
intfazl ITGa 十 之 元 性 六 |! C1. 50) 
利用 初等 不 等 式 
《一 “lt RN HN 


及 TY 的 定义 ,可 得 


。 N— RA/N 
pr 一 一 中 


从 而 lim2r 一 Ham CDOT 只 要 有 方 节 限 放 在 . 如 果 再 假定 lim 
PP: 风 


> 


问 忆 《1.2) 式 
lim Y= lim Fi,= lim Vr 
省 一 ee N40 a 
且 
bh 
上 总 十 (1 Nr Yr 


田 (1, 49) ,C1. 50) 式 


pr A/R 1 or LN 

pri 1 Lu Ch 

NR RR 1 
Nir:—1) 


注意 到 im 基 一 p 所 以 











， 1 
limV* = pp 
| 


。 34 。 


注 5 设 F 休 一 一 上 (oo 二 一 kN， 则 得 到 第 二 标准 
下 的 可 拒绝 秘书 问题 ,参见 [10]， 

注 6 在 应 用 中 “最 好 ”的 标准 事实 上 是 难以 掌握 的 ,所 以 提 
出 选取 一 个 较 好 的 寻 娘 是 合适 的 ,然而 “ 较 好 ”是 一 个 模糊 集 ,比如 
第 一 名 当然 是 “ 较 好 ”的 ,第 二 名 也 是 “ 较 好 * 的 ,不 过 满意 程度 只 是 
0. 9, 第 3 名 的 满意 程度 是 0.6 等 等 ,于 是 可 以 把 “ 较 好 的 姑娘 ”看 
成 为 一 个 模糊 集 , 记 为 4 二 {FCDA1 ,FC2)/2, ,fCN)/N)}) ;这 里 了 
《- ?是 单调 下 降 函 数 , 取 正 值 , 称 为 隶属 度 或 满意 度 函 数 ,现在 要 
找 一 个 停止 规则 1, 使 PtaE 3) 最 大 。 根据 模糊 集 的 概率 计算 ,有 

Pla€E A) 

=ADPGm =D+TFOOP =2) 二 fiN)P (m=N) 

如 时 我 1 站 要 演 虚 可 拒绝 的 模糊 标准 下 的 秘书 问题 且 假 定 当 录 
用 不 成 功 时 的 报酬 为 fco), 则 应 求 (使 得 


Dyes + pm0) 
取 极 大 值 ,这 其 实 就 是 一 般 报 酬 函 数 下 的 秘书 问题 的 模型 。 





$1.4 可 招 回 的 秘书 问题 


所 调 可 操 回 秘书 问题 就 是 措 经 理 在 第 4 步 停 止 面试 时 ,他 可 
以 不 录用 当前 的 站 娘 而 录用 ”前 的 姑娘 ,如 果 用 *(r)? 表 示 招 回 * 
前 > 个 人 的 概率 ,显然 gr) 一 1 的 问题 是 不 值得 研究 的 。. 

ea nan 1 在 那儿 假定 前 1 步 或 前 1 步 至 前 
* 步 的 招 回 概 率 为 1 ,其它 

YANG595 在 1974 年 厅 罕 了 当前 人 不 旺 天 且 段 定 每 位 姑娘 一 
经 拒 聘 就 再 也 不 能 招 回 ,9(r) 是 不 增 函 数 的 情形 ,特别 讨论 了 pm) 
一 ?及 3 一 0<<11) 的 情形 1 

* D+ 





文献 [17,F18] 推 广 了 YANG 的 研究 ;讨论 了 94900) 之 1 及 更 为 
一 般 的 招 回 概 率 系 统 (yC7)); 吕 的 情形 ， 

沿用 前 几 节 的 记号 ,并 引入 相对 最 好 者 的 位 置 落 数 ， 

册 二 8 一 Car ;4) 中 相对 最 好 者 的 序号 ,如 芭 一 4 一 i， 表示 
为 前 相对 最 好 者 。 

用 各 二 1, 表示 ;前 相对 最 好 省 受聘 ， 二 0， 表示 n 前 相对 最 
好 者 拒 聘 ,假定 ; 

1) P(A 二 1 ww 二 #8 一 让 二 q(x 一 让 ,9(7) 单 调 不 增 ， 

2) 对 YjPG 二 1 wj 二 地 十 j 一 Rs 二 0) 二 0, 这 表明 每 个 和 失 
聘 的 人 ,不 能 再 爱 聘 ， 

3) 除非 2) 的 情形 ， 如 ,和 4,"…, 妈 相互 独立 , 且 与 wj) 
相互 独立 ,多 ,一 fa ,wa yi 

引 理 1. 16 za 是 马 氏 链 , 且 











Plwi = Dn, = n= 











7 41 0 过 ss 六 一 | 
《1. DBE» 
Pan 二 允 十 1 i = 六 一 5， TS 一 1 
_ 【1] 32) 
Pw = = i, 0CiCre (1. 53) 


证 明 是 初等 的 , 留 给 读者 。 

下 面 称 在 第 = 步 采用 招 回 防 术 是 指 :在 第 " 步 录 用 当前 及 ，* 
前 的 相对 最 好 者 , 如果 招 回 不 成 功 , 则 继续 观察 并 采用 某 种 不 招 回 
2 前 的 最 优 规则 5, 令 Xv= SP(o=i ;2 二] |. 罗 , 十 P(a 一 和 ,由 十 得 
最 好 姑娘 | 史 ,)。 

记 
时 一 PC 步 后 继续 到 站 ,不 招 回 * 及 "前 的 人 而 得 最 好 者 | 多,) 
+ 





二 esssup ECX,|.F,.) 
er 1 


因为 这 仍 是 有 限 问题 .因此 必 存 在 不 招 回 * 前 的 最 优 规 则 6, 使 
(如 | 多.) 一 有 ,于 是 


X= SE Oo D+ ~ 0 — DD 





{1. 84} 
式 中 ,3,; 二 P| uj 号 员 有 一 个 Markov 表示 ,因此 
esssup ECX | ,=esssup BCXr |iw,) 
ET IE 


显然 ,0 a 记 


一 区 |。-。 了 
1 =y,| 一 一 
并 一 Te, 
加 一 一 jn 


引 理 1. 17 VE 一 1 





tt 
| Tl. 595) ， 


， 
三 (x+1 EE 一 站 2 一 十 I Rx 二 





An 
jn 二 n + 让 了 Tsr 十 5 于 re (C1. 56) 
~ ~ 时 时 放量 汪 8 

成 全 于 Te C1. 57) 


证 明 EG |w. 一 一 站 


一 | pr 十 | Puti 
Pi, =n — j) [wu 一 一 Pa 一休 [wj 一 有 





一 1 0 | 站 
ntl1™+! 1 #1 
由 于 
b= ECX |w, = }) 


pe =n(| | 
一 -| ,十 元 
PT 一 六 一 放 | [ei [mw,= 一 3 一 站 4ma 十 1 一 "十 上 一 ] * 


。 37 。 


注意 到 , 当 芭 +1 一 0 时 , 招 回 # 前 也 不 会 得 到 最 好 的 姑娘 ,因此 
与 (8 尘 x 十 1) 是 一 致 的 ,6 是 X! 中 最 优 的 ;也 是 总 Ca 十 1 
中 的 最 优 规 则 : 故 天 (也 |a 一 0 一 站 (Xi 一 0 一 由 而 当 
+1 二 4 十 1] 一 j 时 ,表明 5 肯定 不 会 取 值 x 十 1, 因 之 种 二 证 -CE 
十 2) , 玖 

ER Omn 二 1 7) = | 十] 一 让 二 1 
从 而 (1. 56) 可 证 , 递 推 之 便 得 (1..57) 式 。 


下 面 认定 , 当 w<m 时 ,和 =0, 了 = - 
引 | 理 1.18 记 z 二 q(x 一 人 站; 且 记 











;A gcD) A 于 ， 
m= 2 EV Tmt 
C1. 58) 
其 中 fs 一 开 , 则 对 任意 的 as 一 1 有 
六 > 党 《1 59) 





Br =# 一 让 一 训 十 。 二 I 《1.60) 


~ 天 


二 gn (1.61) 
和 一 六 十 更 (1, 62) 
册 一 到 一 060) 1. 63) 


证 明 ”只 须 证 明 {1, 59)《1.60) 两 式 ,出 后 退 归 纳 法 ,因为 


yy 二 总 y 二 DJ ICN lo yp 
JJ 一 上 





Nl 1 
ECV yi = 一 1 一 让 二 一 及 十 方 9C0) 


则 
一 一 | Ww 1 王 训 一 ] 一 站 
* 





+ 1 


而 . 
- 0 
v= Er! Fe N= 
所 以 .59),(1. 60) 对 4 二 一 1 成 立 ; 候 定 此 两 式 对 入 一 1,N 一 2， 
十 1 成立, 往 证 4 之 情形 ,由 (1, 57) 
| 人 














- 下 0 1 
re 2 DD Yt 
本 | 
. Y x 1 1 
= 之 ,元 yt a k * 2 0 
Sa Tr 
Sk 


让 也 一 六- 十 到 二 及 (1. 55) 和 式 





1 i 
FOr aD tt 


= 十 1 Gps mp) 
一 ni 
所 以 
i 二 革 V BO | 各 一 Rn 一 让 二 十 


现在 讨论 在 不 同 的 招 回 概率 系统 {Cr)} 下 的 最 优 停 止 规则 。 
定理 1.19 设 40)=9 氨 1, 而 对 ?六 1,907) 一 p<r 则 
1) 对 一 切 iasSY 一 1 
Eyrilw, = eo— j) > X,.,; 《1. 64) 
这 表 骨 最 优 规 则 必须 是 停止 在 相对 最 好 的 位 置 上 。 


2) 存在 一 个 整数 s=sCN,P,9) ,最 优 规则 一 定 不 停 在 前 s 一 1 


3) 当 9<] 时 ,s 是 满足 下 式 的 最 小 正 整 数 。 > 
+ 0 。 


[tre pin/ .65) 








= 
当 gy 二 1 时 
s 一 inffa 7 :| S， - ] 《1. 663 
2 一 
其 中 
™ 
一 inffe3z0:1 一 0 01. 67) 
FL 一 
4) 最 优 规则 是 


一 inf1E22 一 个)} 
5) 当 9<1,s 一 1 时 ， 选 到 最 好 姑娘 的 概率 











4 本 ar (1 68) 
当 gg 之 1,s 宇 2 时 
r= 7 1—4)_ 1] «1.69) 
51, > 1 (s—1)p 
te .70) 
当 ?Y 一 1.s 一 1 时 
:1 
| "= 序 《1, 71) 
证 明 了 十 旺 二 站 约法 来 证 明 ' 当 "Te 一] 时 
i _N—1—yg 1 N11 
MV 





所 以 Ey | wy 二 次 一 1 Dr ss 如果 {1. 64) 对 MN— 1,N—2,， 


十 1 成立 ,有 序 YY Tn 则 


从 而 . Ely es i 
归 站 La 





(1.84) 式 得 证 ; 
2) 由 97) 一 g(r), 腊 一 二 一 … 一 台 1! 一 党 . 另 一 方面 











Ee (2 记 )9 这 忆 Tp 7 9 一 29 


上 述 不 等 式 耕 边 随 ; 单调 增加 ， 右边 随 j 单 调 减少 ， 因此 必 丰 
了 唯一 的 8, 使 当 Js 时 ， 开演 协 , 由 于 对 一 Dia Biyori |W,=0 Oe 
之 后 故 最 优 规 则 必须 停 在 相对 最 好 者 的 位 置 上 ,从 而 最 优 规则 
o =inf{ft1: Xn =inf (ke]1 .ry 
一 in 了 下 23 一 [0 (1. 72) 
2) ,4) 得 证 。 
3) 设 9<1, 由 s 的 定义 ,可 见 对 ns 


Ae Ei 
一 (4 yo (1. 73) 





所 以 
msi 一 -人 一 了 n> 


如 十 | NM" 
解 此 差分 方程 ， 得 
01 Ha 0 (1. 74) 





下 一 


于 是 


wa 


Ss 二 ihnf {x 1 :3 六 p} 





=inta>1: Ta+ 寺 < 
(1. 66) 式 获 证 。 
设 9 一 1 ,由 《人 1 73) 式 


— pCl1—9) 
ba 


于 是 


di- 


其 中 


< 1 . 
fr 一 inffa 芝 01 一 2 Peri 


j= l 


5) 由 .72) 式 ,最 优 规则 是 跳 过 前 面 s 一 1 个 人 ， 入 在 此 后 的 
第 一 个 相对 最 好 者 的 位 置 上 , 招 回 并 录用 相对 最 好 者 ,实际 上 就 是 
录用 当前 的 人 。 如 果 录 用 受 拒 , 则 继续 观察 ,并 采用 5 来 挑选 秘书 ， 
而 且 从 上 面 的 证 明 可 知 ,5 规则 就 是 录用 每 一 个 新 的 相对 最 好 者 。 
如 果 < 之 1 且 对 一 切 *s, 坟 隆 0 表明 最 好 的 姑娘 在 前 面 s 一 1 
个 人 去 ;此 时 如 s 尝 2, 则 
Vo= EX: 





一 2 | pr* Palmn0 ,ks) 
= 


1) 





A 

2 Go 
一 > LD zt 十 大 一 

t= 

+ 

bb 

P| 


记忆 = 开 G31 2) ,由 (1.73),(1.61)，(1.59),(L. 74 








hg x zl— 天 
二 Fp.tl 0)= 计 一 2 多 一 不 * Hi 
又 
凡 一 1 一 1 一 9 ,1 
人 
一 一 和 一 人 (24 7+) 
因此 








， s—1] Hg (8— 1)o PC 二 了 1) 
BX,==2 i Nt 


+ dd ， 


:1 一 s—l1)}o ,Cs 1) 
Se 人 ni tt 本 
一 6 一 Dp | sa, Hol | 
Nm N 1 一 9 
(1. 69) 式 获 证 。 
设 s 二 1; 则 因为 避 ==0; 故 o 寺 1, 此 时 





y= BX, 二 xX9Plw 一 0) = 雯 # Hg 


此 即 51.68) 式 。 
设 3 一 1,s 二 1, 则 
V =EXs=X9P(w =0) 二 方 


设 4 二 1.s 六 2, 则 
(1)y 
Y= BX, = 和 2 ER Ki) + Fo 
_s—1, sn ] 《ss 一 1 7 了 
之 这 1+ Ee 





定理 证 毕 。 

定理 1. 20 ”对 于 一 般 的 按 回 概率 系统 qtr) 并, 最 优 规 则 是 
直到 全 部 候选 人 考察 完 再 录用 的 充 要 条 件 是 

时 ?二 六 一 外 


qtr 二 1)、 Nl1—oy0) 
qtr) >- N—1 


证 明 ”必要 性 。 由 于 此 时 EC(yvjww 1 二 一 1 一 让 之 XX-_ 1,i; 由 
(1. 60) 及 (1.61) 式 可 见 


CN— > 一 Le 


此 即 (1.75) 式 。 
充分 性 。 用 后 退 归 纳 法 ;如果 (i.75) 成 立 , 取 7+=N 一 1, 则 它 表 
明 BCyy [ww 二 坟 一 1 一 让 >Xr_ 10ni 芝 NN 一 1, 如 果 由 对 k 一 N 一 1,N 
一 2. st 十 1 成立 (1,75) 式 可 推出 Byrs [WW 二 4 一 力 沁 关 , 由 (1. 
» 


《1.， 75) 





TN 1—i), < 一 1 


57)。f1: 60) 及 (1. 六 岳 江 f 一 入 一 1 一 2,*** ,RR 十 1 有 


3 十 1 ;> Nt 2 
为 下 它 对 导 " 碟 立 , 只 须 这 





CAO—2) oCN—i) 





























mtnD i) 

由 归纳 假设 可 知 部 一 去 gCw 一 已 ,于 是 
2 Dt 

_40) 六 QCN— ky) + CN #1) 
NA 

所 以 Ty 

> 1) 
> .(] 2 yy- -1 
> Ni 
> dts) 
> 5 5 证 学 


定理 1. 21 对 于 一 般 的 招 回 概率 系统 (grit ,gq 一 9C0) 起 
1， 存在 常数 8 一 SCN ,0,0) ,最 优 规 则 是 。 前 不 停止 ,如 果 


2 人 人 ， rN—1 《1.76)》 





邻 
37 十 1 一 1—p(n) 


Tinf{n2s: gr) 1 p+ 1} 





} (C1. 77) 


bin}) 一 ， 《1. 78) 
如 果 在 了 前 没有 录取 到 ,最 优 规 则 是 从 = 时 开始 录用 每 个 新 的 相 
对 最 好 者 。 
证 明 由于 
nt 


OT 





令 5 二 inffn 送 1: 训 一 为 汪 0} , 它 是 常数 ,在 8 前 Bi 一 
一 站 之 Xs, 所 以 不 应 该 停止 , 往 证 第 二 个 结论 ， 

1) 0O< gl 时 ,将 证 明 对 一 切 TS 六 一 1 i 有 Ti ss 
由 (1.76) 式 ,对 4 二 a 一 1, 上 式 是 成 立 的 ,如 果 对 一 切 +<X==# 十 1 


2 一 1 .ih 有 2: 且 庆 一 守则 式 一 ( 守 一 和 oC 
一 站 ,六 = 加 一 革 开 ,所 以 由 (1. 56) 式 


lt DD D0 











NCl—9) 
因而 
Ti 
kl] - | 
全 (1D 
人 (一 1—b(k—1) 
gD 1 bck) 
I— BCE) 、 
易 知 0 一 BCs 于 放 对 于 >7 是 单调 增 的 ,所 以 对 一 切 a 之 
47 1) 1—bCn) 
4fr) 1]—b(tnt+1) 
从 而 对 一 切 


Ee 
二 45 - 


2) 9 一 1 时 ,车 #2 注 7; 则 


NM 
. a 一 » 二 mn 
™ 
1 站 天 1 





. i KCR—1) NT 下 = 一 上 
而 当 zi 一 0 , 则 
Wi iD 


站 一 1  - El 
+ i ek 





并 一 1 - . E—1 kl1- . 
(gk 1 让 Ww 天 Ved tk i) 


gtk—i) ye < 一人 1 一 Bp— 1y 
“gl” CQ—hR)) 


易 见 S&Sr, 所 以 
t=inf {ns: 





be 





gr+1) 1 一 5 
5， ST-ocntty! 


由 于 对 一 切 x 闵 ray 因此 未 一 ( 广 一 记 )9. 由 发 的 定义 
S=inf{n2>1; 六 一 区 全 一 inffzz1， TD}=sCN ,90) 


由 于 必 之 7s..;, 当 停 在 + 而 录用 受 拒 时 ,应 该 继续 观察 并 录用 每 
个 相对 最 好 者 ,这 是 因为 由 一 般 理论 ,最 优 规则 
二 inf {fn 字 1: 字 坟 }) 二 inf {rn 守 8s 这 } 二 jnf{r>n 守 8; 六 之) 
上 述 规定 ,inf 二 7+, 证 举 。 
读者 可 应 用 我 们 的 定理 ,对 (0 二 149 以 及 9(r) 一 gr， dp 
9 之 1 的 情形 做 具体 的 讨论 1。 


+ 





第 二 章 一 般 理 论 


第 一 章 讨论 了 让 人 限 情形 ,证 明了 
二 X,Y ECL|:,.) 《1. 6) 
a = inffi 守 #5 半 } (1. 8) 
是 上 全 中 最 优 规 则 , 且 
如 (省 | 多) = 人 1. 9) 
这 里 51. 6) 式 称 为 别 尔 曼 方程 , 它 是 动态 规划 一 般 理 论 中 的 重要 结 
果 , (1. 6) 式 还 是 选择 形 如 (1.8) 最 优 规则 的 根据 ,而 (1, 9) 式 表明 
了 最 忧 停 止 规 则 的 特征 ,这 些 对 于 一 般 情形 的 研究 提供 了 重要 的 
提示 。 
今后 我 们 采用 下 面 的 记号 。 ， 
{ 呈 ,多 ,站 是 一 个 完备 的 概率 空间 , (多 ,Yo 是 F 的 一 列 递 
增 的 子 5 人 代数, 其 中 .名 ,二 (4,8$), 有 时 还 项 考虑 多 %, 此 时 FC 导 
入 . 设 {XX}) 是 报 本 函 数 序列 , 它 是 可 测 的 随机 
变量 ,* 一 工 * 和 0 如 果 ,有 定义 ; 则 假定 为 名 可 测 的 , 称 {X,， 
Te 为 随机 序列 ,一 个 取 值 于 {1,2…, 十 co} 的 随 
机 变量 t. 如 果 对 一 切 自然 #, 全 二 4} E€ 多 .( 它 等 价 于 全 和 妥 对 所 
字 ,). 则 称 它 为 广义 停止 珊 则 (简称 为 广义 规则 )# 如 果 它 还 满足 
PQ < oo0) 一 1, 则 称 为 停 赴 规则 (简称 为 规则 ) , 西 者 统称 为 停 时 ， 
全 体 规 则 记 为 多 ,全体 广 久 规则 记 为 多 , 记 
= 0) 
人 二 已 字 





-dd7* 


C= 二 1; 称 
及 一 esssupE (XR) ,yp, 一 esssupB XB ,) 
i 人 


为 报酬 函数 X. 的 Snell 包 , 且 入 会 了 mm, 称 
VC= sup EX, 
日 二. 


1 一 sup EX, 
上 六 


为 报酬 序列 (人 多 在 CC 上 的 值 . 记 
条 件 4 :< 


条 件 4 ,XmlimX， 


32.1 广义 最 优 规则 的 性 质 


定义 2.1 称 rE 多 为 可 取 的 ,如 果 
ECX FD) XI fj C2.1) 
成 立 ;如 果 | 
BOX NT) > Xj Tt jn (2, 2) 
则 称 * 为 严格 = 可 到 的 ,特别 简称 1 可 取 ( 严 格 1 可 取 ) 为 可 取 5 相 应 
地 ,严格 可 取 》。 
引 理 2.1 YtE5 存在 严格 可 取 的 E55 使 tt, 且 
EBX, 2> BX, (2. 3) 
如 果 上 不 是 可 取 的 ,网 (2. 3) 式 可 取 严 格 不 等 号 。 
证 明 令 击 二 A inf{f BCX 1) < 
th Ainffg EHX | EX,) 
则 易 知 4,# ,都 是 广义 规则 ,县 # 和 44, 且 
Ct 一 1) . 
= (= {BEX | 1 
和 4 全 


U GD BAIN Xk = 2 Oe} 
NM CEEX | ,) < X.Y 
AUDNBUG>MI NC 《2. 4) 
{# = ny | 
一 = {OXI > Xk = 1 ,2° OT 1} 
UD BOF) k= ,2 Oe 1} 
NM CE | ,) SR ) | 
全 =DNPUG>HNE (2. 5) 
对 某 个 #0, 设 4 是 .多 4 可 测 的 ,PC4) 守 0,4CC(4 记 拉 , 则 


让 二 | i, 
上 27 AN r=) 


宇 >》! 


| 
oo 


一 > | ， 
< 一 Ne 


Foo 


| x + | ax 
AN Cm No A > NE 


一 | 《2.6) 
而 由 # 的 定义 可 琉 | 
DC >DN {EXP > Xe 
于 是 {x >| x (2.7) 
联合 亿 . 全 及 (2,7) 式 ,网 ¥' ACC 六 让 ,PC(4) 守 0, 有 


[x*>|x 


此 即 | BCXe 1 > | X,, 这 表明 是 严格 可 取 的 ,类 似 于 (2.6)， 
我 们 可 证 YA4CGU 交 让 ,PC4) 汪 0 有 
J.>1 x 加 
取 # 一 0, 在 (2.6) 及 (2.8) 式 分 别 取 4 一 吕 , 则 BX 之 BX 之 BX,> 
.+* 49. 





一 co f2， 3) 式 获 证 ,所 EC. 
如 果 不是 可 取 的 , 则 存在 集合 ,P(E) 沁 0, 及 最 小 的 ,使 得 
在 二 上 (Xi 下 之 计 , 于 是 在 上 >k 一 ,从 而 


= Lt > tx 


1 一 间 3 门 二 EN t= Na 和 向 i 二 名 
因此 ,下 Xe > EX 
注 1 如 果 抵 所 , 则 稍 加 收 改 便 可 证 明 ， 存在 严格 = 可取 的 
Ev,t Rt, HH 
EOXNF,) DP ECX NF,) 
如 果 1 不 是 # 可 取 的 ,上 式 取 严 格 的 不 等 号 。 
注 2 如 果 tE, 则 引 理 2. 1 中 的 Et 
引 理 2. 2 ”如 果 r+ 是 最 优 的 广义 规则 ,由 了 必 是 可 取 的 。 
证 明 ”如 果 7 最 优 但 非 可 取 , 则 由 引 理 2. 1 必 存 在 严格 可 取 
的 # E 呈 . 使 BX >> 8X, 耶 盾 。 
“上述 引 理 给 出 了 * 为 最 优 广 文 规则 的 必要 和 条件, 下面 的 引 理 
指出 比 可 到 的 广义 规则 为 小 的 广义 规则 是 不 好 的 。 
引 理 2.3 设 * 是 可 取 的 广义 规则 ,如 果 (上 EE 六,P(f 委 间 一 
1 则 EX 关 有 如果 # 是 严格 可 取 的 广义 规则 ;PC 之 日 一 1 且 2G 
D> 0 EX > EX,. 
证 明 x= DC | x+ | 2 


ln ty) 


> | Xe 十 | X.) 
la riry Cr = 
= 5 -a 


le i wny 


如 果 [是 严格 可 取 的 ,有 P< 中 之 0， 则 上 述 不 等 号 必 在 某 一 4 处 
取 严 格 的 形式 ,从 而 5XKID BE 
由 此 可 见 , 比 严格 可 取 为 小 的 广义 规则 肖 定 不 是 最 优 的 。 
* SD » 


引 理 2. 4 设 e 都 是 (严格 ?可 取 的 广 久 规则 , 则 ! 二 YA 也 
是 (严格 ?可 取 的 广义 规则 ,上 月 23PRXK VY BX,， 

证 明 首先 (f= 让 一 (二 下 门下 和 说 二 
多 ,可 抑 上 是 迟 时 。 设 4E 多 ,4 它 (人 门人 袜 丰 且 PC40 关 0, 则 


|x.= [xc>) >| x 《2. 9) 
类 似 地 ,如 46E 多 4E CD 和 几 (4 委 四 ,P(A4) 之 0, 则 

jx = | xc>)>> jx (2, 10) 
设 4€E FPOA)>0,4 和 CC 关门 ( 半 2) , 则 


L= > | X, 


jm, EN i 
31 


(>) 守 > | At 一 | x 


_ MN) AN > 
而 j%= | x+ | XX 
“ A A tt} 
> | + | D> {x (2.1 
44 门 1 一 人 AN Ui? “ 


因为 GD = Cn DU Gn Un ,由 (2.9) 
一 人 《2.11) 式 可 知 上 是 (严格 ?可 取 的 。 显 然 ,P(i 妥 用 一 已 下 委 昌 一 1， 
由 引 理 2. 3 便 知 有 Xe RX, V EX,. 

定义 2,2 称 8EF 为 半 最 优 的 ,如 果 Y 1E€E 也 ,1 志 coo<n, 在 
[#=n,t>>x] 上 有 

ECX, | ) 大 C2,12) 

如 果 (2. 12) 式 中 不 等 号 是 严格 的 , 则 称 $ 是 严格 半 最 优 的 。 

引 理 2. 5 设 4 条 件 成 立 , 则 若 > 最 优 ,r 必 为 半 最 优 ， 

证 明 如 果 上 述 r* 不 是 半 最 做 的 , 则 必 存 在 1 更 ,0<n<<ea 
以 及 芒 , 可 测 集 4E Cr 一 ae 人 ,使 jx 之 | x 令 ， 


» Sl. 


= Tr 
则 te 也 ,而 
EBX, = [x +| x>| ,x + X, = EX, 
a | A | . 
矛盾 。 


引 | 理 2.6 设 SEF 半 最 优 ,而 :EE 是 严格 可 取 的 , 则 Pt 
8) = 二 1。 


证 明 记 4={s==#,>n}). 如 对 荣 个 #2 福 1,PC4.) 计 0, 则 由 帮 
- | >| x 


丸 因 为 :是 严格 可 取 的 











| x>| 大 


矛盾 ,所 以 对 一 切 az1,P(4) 一 0, 于 是 
POP < PP) =0 

下 面 是 关于 最 优 广义 规则 存在 性 的 定理 。 

定理 2.7 在 4,4 下 ,存在 最 优 的 广义 规则 。 

证 明 由 4 可 知 ?一 sup&X+<eo, 如 果 了 一 一 ce, 则 令 r 一 1 便 
是 最 优 规则 ,不妨 设 广 有 限 ,由 引 理 2.1 及 了 的 定义 ,对 任何 "之 1， 
存在 严格 可 到 的 hE 可 ,使 BXv>T 一 二 , 令 
| TFT 一 UP 
由 引 理 2. 4, 每 个 +. 痢 是 严格 可 取 的 , 且 


RX, 这 BEX, 守 了 一 过 





{#} 是 单调 增加 的 
。52 。 





=D)=U N= eF, 


所 以 fE 玉 ,于 蚌 BX,A. 而 由 Fatou 引 理 
Y= limEX, < 三 天 lm xX 
= BE lm Xe + B Hm Xle-e, 
EXloem 十 EX = HX, =F 

所 以 EX,==F ,7 便 是 最 优 的 广义 规则 。 

引 理 2, 2 及 2. 5 纵 出 了 一 个 zxE 有 为 最 优 的 必要 条 件 , 其 实 它 
还 是 充分 的 。 . 

定理 2.3 广义 规则 为 最 优 的 充 要 条 件 是 7 为 可 取 和 且 半 最 优 。 

证 明 只 证 充分 性 。 设 +€E 了 是 可 取 量 半 最 优 的 , 共 + 不 是 最 
优 的 , 则 表明 存在 # E55, 使 EX > BX 由 引 理 2. 1 存在 严格 可 取 的 
1ED, 使 BX' 汪 BXi>>BX, ,rt 是 半 最 优 的 ,而 :是 严格 可 取 的 , 则 由 
引 理 2. 6,PCS TD) 一 1. 另 一 方面 ,因为 + 是 可 取 的 , 故 由 引 理 2. 3， 
知 EX,>EXr 六 RX, 政 盾 .所 以 7 最 优 。 | 

下 面 提 出 最 小 半 最 优 与 最 太 可 取 广 文 规则 的 梳 念 。 

定义 2.3 一 个 (严格 ) 半 最 优 的 规则 r 拭 及 , 称 为 是 最 小 ( 严 
格 ) 半 最 优 的 ,是 指 对 任何 (严格 ) 半 最 优 的 规则 tE. 了 ,有 PCO) 
一 1. 

显然 ， 如 果 最 小 (严格 } 半 最 优 规 则 存在 ， 那么 在 a.s 相等 的 意 
义 下 是 唯一 的 。 

定理 2.9 在 4,,4: 条 件 下 ,存在 唯一 的 最 小 半 最 优 广义 规则 
rE , 且 7 是 最 小 半 晤 优 当 和 且 仅 当 + 最 优 旦 严格 可 取 。 

证 明 由 定理 2.7? 及 引 理 2.1 可 知 存 在 严格 可 取 的 rE 为 
最 优 的 ,因而 它 是 半 最 优 的 。 由 引 理 2. 6 对 每 个 半 最 优 的 YE 到 ,有 
Pt1 二 1, 于 是 了 是 最 小 半 最 优 的 。 由 于 最 小 半 最 优 揭 广 义 规 则 
是 唯一 的 ,因此 由 上 述 所 证 可 见 , 最 小 半 最 优 性 蕴含 着 最 优 性 与 严 
格 可 芭 性 ;反之 ,如 果 是 最 优 且 严格 可 取 的 , 则 是 半 最 优 , 因 而 

， * B33» 








如 果 上 是 最 小 半 最 优 ,就 有 PG") 二 1. 另 一 方面 , 田 于 = 是 严格 
可 取 的 ,由 引 理 2.6,P(EeD 一 1,r=! 是 最 小 半 最 优 的 。 

定 交 2.4 一 个 可 取 的 广 闵 规则 *E 字 , 称 为 是 最 大 可 取 的 ， 
如 果 对 任何 可 取 的 rE 丈 ,有 Pr 衫 妆 一 1。 

显然 ,最 大 可 取 著 存在 , 则 在 < sx. 意义 下 是 唯一 的 。 

定理 2.10 在 4,4 下 ,存在 玲 一 的 最 大 可 取 的 rEF ,Hr 
. 是 最 优 的 。 

证 明 册 定 理 2.7 及 引 理 2. 2 可见 ,存在 可 取 且 最 优 的 广 立 规 
则 ,再 引 理 2. 3 则 表明 , 姐 果 存在 最 太 的 可 取 规 则 *, 刚 * 必 是 最 优 
的 。 

往 证 最 大 的 可 取 规 则 rE 也 的 存在 性 , 记 信 为 全 体 最 优 的 广 
ne 

= HE OPUS>R) 
a 

显然 tes en 当 Ps 时, 的 与 名 ,,: 7 4 对 任意 的 2 

可 证 明 
NO,, -iG 
囊 实 上 ,由 7; 之 定义 ,名 ,, ,二 放 ， 因此 名， 一 tt 关 局 ,其 中 jj 二 1,2,…， 
,最 右 jE -+ 并 全 
i Vi Ve 

. 则 4 仍 是 最 优 的 , 且 P(t 让 之 PC6> 力 滨 ', 一 守 , 这 表明 由 ! 
关 闻 ,于 是 9 "存在 4E ie 一 罗 

令 耐 一直， 一 Te 一 VE 一 supr， 易 见 zz 到， 而 由 条 件 如 

加 发 :一 EXdiren) 十 总 一 = Him x te. ro 十 EX on) 

> max lo + B BnX. om, > BEX. 

由 引 理 2, 4 以 及 如 名 坟 
» 54 = 


BX > EX 2 BX = supEX 
所 以 EX. 之 supBX, ,因此 GE 人 2 
国定 t 宇 1, 选 #2>t, 使 
PT 有 字 POn 关 人 字 PE 产 拉 守 4 一 一 


从 而 
Pl) rn 

TE 葡 合 着 + 是 可 取 的 ,如 果 7 不 是 最 大 可 取 的 , 则 必 存 在 
可 取 的 EF ,使 PG 让 密令 1 一 TV 则 BX 守 BX, ,1ED, 并 
且 存 在 0<f<oo, 使 P(r 二 让 半 0, 于 是 

Pf k= P(t ER) Pir = kt kk) 
> Pr 这 > 让 守 nn (2.13) 

但 由 x 之 构 慎 可 知 , 当 ?> 时 ,他 , 二 久 ,也 即 不 存在 1 运 如 ,使 PQ 
E>r, 或 者 说 52. 132 式 表明 ,! 丰 轨 , 了 矛盾 ,所 以 T 是 最 大 可 取 的 
广义 规则 ,定理 证 毕 。 . 

下 面 的 定理 表明 ， 在 适当 的 条 件 下 ， 最 天 的 可 取 广义 规则 就 是 
最 小 严格 的 半 最 优 的 广义 规则 。 

定理 2. 11 :在 4,4: 下 ,mmEy8 是 最 小 严格 半 最 优 当 且 仅 当 
Tt 是 最 太 可 取 的 。 | 

证 明 出 定理 2. 10, 可 多 存在 最 大 可 取 的 .EF 且 半 是 最 优 
的 ,如 果 不是 严格 半 最 优 的 , 则 存在 i 二 了 ,hoo,AE 名,,4 
三 (TI 一 下 人 >8 (dr0 使 得 BX 所 Ba 令 f= 二 十 ts 则 # 
EF .PE>r)>0, 于 是 | 

EAs = El X, 十 Bi 2 守 EX 

从 而 # 最 优 ,因而 可 取 , 这 与 + 为 最 大 可 取 矛 盾 。 

往 证 ”是 最 小 的 严格 半 最 优 广义 规则 , 设 EF 是 严格 半 最 

优 的 , 令 4 二 {==h,T 沁 如 ,如 存在 某 #1, 使 PC4) 半 0, 由 t 半 最 
人 优 ,B14 半 之 aK: 于 是 元 非 可 取 , 玫 盾 。 所 以 
: 55 * 





Plan) Br) = 0 


亦 即 = -是 最 小 严格 的 半 最 优 广 义 现 则 。 
友之, 如果 是 最 小 严格 半 最 优 的 广 关 规则 ,而 击 定 理 2. 10， 
必 存 在 唯一 的 最 大 可 取 广 义 规 则 由 上 所 证 了 是 严 烙 半 最 优 , 因 
此 二 二 +, 此 即 ”是 最 大 可 取 的 广义 规则 。 

定理 2. 12 在 4.4 条件 下 , 记 -为 最 小 半 最 优 的 广义 规 区 ， 

.z 为 最 小 严格 半 最 优 的 规则 , 则 最 优 广 义 规则 梨 

人 一 信和 了 可取 且 P 导 六 z 一 1) 
二 (1 € 歼 : 半 最 优 且 Pd 过) 一 1) (2.14) 
证 明 ”由 人 : 半 最 优 一 2 一 1 又 由 EEC 一: 可取， 
因此 ,SSGTE 人 :可取 ,县 PU 这 tw) 二 1) .反之 由 引 理 2. 3, 若 上 可 
取 且 PG) 二 1, 则 BX EBX, =F=tE 0. 


往 证 第 二 式 , 若 1€ 区, 半 最 优生 PC rm) 一 ] 则 BX 一 之 


Eo 





1 
EX dy > EX ie 一 至 Xiy 可见 tiE 写 ,反之 苦 titE 全 > 可 事 冯 
1 


一 tm 可 取 , 而 是 最 大 可 取 一 PP2m 一 1 而 12>t 半 最 优 。 
注 3 定理 2. 11 证 明了 最 小 严格 半 最 优 即 最 大 可 取 , 我 们 还 可 
证 明 在 4,4: 条 件 下 ,最 小 半 最 优 的 广义 规划 即 最 大 严格 可 取 的 广 
义 规 则 , 设 rm 是 最 小 半 最 优 的 广义 规则 , 则 它 是 最 优 的 ,因而 可 取 。 
如 果 它 不 是 严格 可 取 , 则 必 存 在 RC{n>n,E(X,, | )<X.)， 
P(E) 之 0。 邻 ==1sx 十 yto\ 于 是 POT0) 之 0 目 BX >8X 这 与 磺 
为 最 小 半 最 优 矛 盾 。 进 一 步 还 可 证 明 mm 是 最 大 严格 可 了 到 的 广义 规 
则 , 否则 必 存 在 严格 可 取 的 规则 所 使 得 P(C>m)>>0. 记 5 一 (> 
0 念 避 Airm, 则 BA 了 矛盾 。 所 以 m 是 最 大 严格 可 取 。 
由 于 最 大 严格 算 取 与 最 小 半 最 优 的 广义 规则 在 a. s. 意义 下 是 唯一 
的 ,因此 最 小 半 最 忧 的 广义 规则 即 最 大 严格 可 取 的 广义 规则 。 
既然 最 优 的 广义 规则 与 半 最 优 且 可 到 的 广义 规则 是 一 致 的 ， 
站 








因此 我 们 首先 要 寻求 一 个 广义 规则 为 尘 最 优 与 可 到 的 条 件 。 可 取 
”性 的 条 件 :BC 吕 ,) 芒 后 用: 相当 于 对 一 个 下 款 序 列 的 Doob 
停止 定理 的 成 立 , 这 样 看 来 下 面 引 理 的 条 件 是 很 自然 的 。 
引 理 2. 13 ” 设 SE .有 ,{Xa 多 局 是 可 积 序列 , 且 
EX) SPAynCm12 (2.15) 
则 {Xenw 祈 ?为 一 个 下 挝 ,车 还 有 BXs 存在 , 且 


lim | Xi+ =0 《2. 16) 


[> 


由 3 是 可 取 的 。 
证 明 出 于 Xs, 二 六 16wsw 十 和 Xe-a 是 多 .可 测 的 ,如 人 机 。 


EX oY AE TF, 
+==] 
[x.= XX 十 | Xs 
A A ES A C3 


< | xut | 
A 4 门 总 nn) 


一 je 
赦 {Xsn 完 是 下 黄 。 


设 还 有 EX 存在 , 且 (2. 16) 成 立 , 对 每 个 4E 多 ,由 下 载 的 性 
质 , 当 m 守 nn 时 


| | 于 ,一 如 Rn < 人 
A ts AN SN) 将 守 2 - 
反 Xs 十 | XA 《2. 17) 
GE | A CS 


由 一 cm 


A ian) 


由 《2.16) 式 , 取 一 个 子 列 {m} 趋 于 十 oo0, 且 Jim | x+ 二 0, 则 


* ST" 





上 < 全 
AN ta) 4 站 XS 
这 表明 5 是 可 取 的 规则 。 
引 理 2. 14 设 {Xt, 多 .j7 是 可 积 的 随机 序列 ,8E 到, 区 
limX, 且 


BX = 22.18) 
则 {X56ro2 ?是 一 个 下 载 ,车 还 有 xs 存在 且 {16ewwX+}% ,一致 
可 积 , 则 8 是 可 取 的 广义 规则 。 
证 明 前 面部 分 的 证 明 完 全 与 引 理 2; 13 相 同 ,我 们 得 到 当 mm 
人 时 | 
站， 区 十 ， | 发 
ANtSray A a AN CE my 


利用 Fatou 引 理 以 及 {fpswoxzr ) 的 一 致 可 积 性 


XL lm | Xs 十 Xu] 


4 门 (sa ' AN tr Sm) A CS mY 


人 


人 十 ， 和 和 


A . A 


一 Xs 
. AN (Sony 
这 表明 5 是 可 取 的 广义 规则 。 
现在 讨论 半 最 优 性 , 设 态 是 半 最 优 的 , 则 Y 1E 玉 ,在 (n=s<1) 
上 有 (Xi 多,) 寺 XX,, 它 也 可 写成 为 BCX]. 了 FFs) 所 Xs 这 恰 是 上 蒜 
Doob 停止 定理 的 形式 ,所 以 下 面 引 理 的 条 件 也 是 很 自然 的 。 
引 理 2. 15 设 s€0, 则 Y tE0, 每 个 4 二 1 


1 EX | ,) SX,, 驴 开 C2 19) 


im| xX- =0 (2. 20) 
sod RY 


则 3 是 半 最 优 的 。 
» Shs 


证 明 今 加 二 一 上 CXsvr | 二 1424; 则 可 证 { 台 4 六 
是 下 就 ,事实 二 ,YY 4E 多 ， 
[WL |. 空 .) 一 | eve 





Xs YY | +l 
4 站 [站 A Sa} 


一 | Ns 一 | 二 
AN Ls} 站 


本 ] xov. jz 
前 县 


tim | Zr 一 im| CECXsy | )- “9 (CXsvys) 
mr oy Ua Ro CF) 


阳 一 < 


< tm| 于 十 sm [x = 


ro 


因此 1 名, 满足 引 理 2. 13 的 条 件 ,于 是 
BS | ) tan 1 2 


vy 4E 多 ,有 


[oo 
AN CRN) AN C9) 


| Xsyn 
AN CS=a,1= my 


--| x 
AN eesel} 


因此 ,E06 | 让 = 一 BCX I) ,N= 3st， 而 在 $= 上 ， 入 一 一 区 
所 以 在 4 一 s<t 上 





pO) < 要 长 
这 表明 8 是 半 最 优 的 停止 规则 。 
注 4 参照 引 理 2.14 的 证 明 可 知 , 如 果 SEP, 有 YW 1E Cn 二 1， 
Dy . 
"SO. 





ECX+i 1),) A ， SA 讽 
woX7 Js 一 致 可 积 , 则 加 是 半 最 优 的 。 


8$2.2 最 优 停 止 规则 的 构造 [1 

上 节 航 述 了 最 优 广 义 规 则 的 性 质 , 并 且 定 性 地 猫 述 了 最 优 广 
义 规 则 集 ,本 节 讨 论 优 广 立 规则 的 具体 梅 造 。 

引 理 2 16 Ya 一 1:2,… :在 心中 存在 一 列 递增 的 = 可取 规 
则 序列 {4} ,使 得 

XECX NT) ko0 C2.21) 

证 明 由 > 的 定义 ,首先 可 取 避 中 一 询 {#,} 使 得 sup8 CX,1 
六 二 轧 ; 不 妨 设 三 三 #1, 但 {41 不 一 定 递 增 ,不 一 定 可 取 , ECX | 
实 ,) 也 不 一 定 递增 ,由 引 理 .1 之 注 1 可 知 在 中 存在 一 列 {} 
一 1 ,2 (机 ) 是 5 可 联 的 ;县 的 一 ?三 ,BCXe | 字 -yh 
六 20) ,再 由 引 理 2.4, 令 . 

ti 二 了 

则 如 相 ,BOX | 脆 msEcs 且 可 取 , 引 理 得 证 。 

引 理 2. 17 若 ,iEe, 刚 Yx 一 1,2.…, 在 ax 上 

ECXF 
LXT | 久 ) 守 谨 
证 明 令 #=1Y nEOw4 则 由 jy 的 定义 | 
BCX 入) 和 BX) 

而 在 (tz 上 t= 二 i, 于 是 引 理 得 证 。 | 

下 面 记 0. 一 jnf {kn ;识字 坟 ,并 记 9 二 1 

引 理 2. 18 设 tE0, 则 t=tAoEC, 有 BOX | ) ECX,| 
多)， 

a 和 。 





证 了 明 Y AE.F,, 由 0 的 定义 及 引 理 2. 17 . 


ANte, i do 
= >) > | Xr 
Ean ta — ed) a aN te ten 
一 Xr (C2. 22) 
也门 《au 区 的 
因此 BR 一 Xr 十 | 7 A BX < OO 
名 二 oY 


类 假 于 (2. 22), 有 | Xe 六 | zx ,于 是 


A A 
jx 一 | 装 , 十 | oe 这 jx 
| AN ti 马 门 Hd) 


引 理 得 证 ， 

引 理 2.19 设 『<covta 为 口中 一 列 单调 上 升 的 规则 , 且 
EX, tr, MW Pllimt20) 一 1. 

证 明 首先 由 上 <coe 可 推 得 六 = 可 过 ceo. 事实 上 由 引 理 
2, 15; 存 在 Cc, 中 递增 列 {Ss} :使 得 CX | 了 ,) ‘ Tn 于 是 由 
levy 定理 ,BX, 二 ,因此 村 .而 由 % 守 ROX | 多 ,EC,, 又 可 
得 而 ， SupE X= ,所 以 太一 一 二 eo。 

记 (= im. 假设 引 理 的 结 吉 论 不 真 , 即 P00) 守 0, 则 存在 4 一 
[t=i<o], 已 (4 DO. 由 vo 的 定义 ,在 4 上 六 << 沁 , 故 存在 E220 使 


[» 一 > |x 
令 镶 一刀 一 i 四, 则 入 王 1 由 控制 收 人 定理 ， 小 X -xs 


1 一 3e, 于 是 存在 ,使 当 下 时 
sa Bl* 


[ x<| 28 {2.23) 
EE BL ~ 
由 引 理 2. 16 ,存在 亿 ,) 使 2 二 ECX6 | 多 ;) 丰 4; 由 单调 收 全 
定理 ,im| xc 一 | ,从 而 对 每 个 x 之 加, 存在 rE G 使 得 

| x <| ps {2, 24) 

号 B, 
令 二 二 ts 十 blac) 易 罗 址 它 局 ,由 (C2. 23) 式 及 (2. 24) 式 , 当 =ko 时 

zx,= | 入 十 | Xi >| 其 一 上 十 | 本 
号 下 有 BB; 
之 | 四 二 二 = BX te 


令 所 co, 则 得 SupBX。>Y 一 :矛盾 。 
现在 我 们 来 讨论 在 一 般 情形 下 ,关于 snell 包 » 的 别 尔 曼 方 


程 。 | 
定理 2. 20 设 {Xiw 防 ?是 随机 序列 ,06, 关 作 , 则 对 一 切 4=1， 
了 . . | 
DX ValF,) C2, 25) 
iDV, = By (2. 26) 


-证 明 iDYa 及 EEC 记 且 一 人 一 全, 由 引 理 2.17. 在 认 上 卫 
《如 有 二 2) 族 在 床上 有 JsSECxs| 多 ,这 笠 
ECX NF) = To. + BON IF.) 
SX 十 天 BC 多 
XY Rpt lF,) 
一 esssupB (XK [VB],) 


往 证 相反 的 不 等 式 ; 设 {&} 是 C+ 中 如 引 理 2, 16 的 序列 , 则 y 
ECX FY = ESRX | | EC | 字 小 ,从 而 和) 得 证 。 
过 已 在 引 理 2, 19 中 证 明 。. 
62。 








注 5 事实 上 ,By | .~ eessupB CX 1. 多 ,)。 齐 尔 曙 方程 


《2. 25) 说 明了 ,Snell 包 疡 是 一 个 上 款 。 .下 面 的 定理 提供 了 最 优 规 
则 的 结构 性 的 表述 。 

定理 2. 21 若 oE5C 且 可 取 , 则 o 是 最 优 的 停止 规则 。 

证 明 由 定理 2. 8, 只 送 证 明 * 是 半 最 优 的 。 由 0 的 定义 ,在 Co 


一介 上 ,X 一 % ,而 由 引 理 2. 17,Y 0,8(X Sh (> 
一 90), 因此 go 是 半 最 优 的 ,从 而 5 是 最 优 规则 。 
下 面 将 给 册 最 优 广 义 规则 的 特征 。 
引 理 2. 22 设 1E0,.BX,=F,<oc, 则 
i) YY kn; 有 
oO 一 Tob | 多 一 us 【2. 27) | 
站 二 [2.28] 
yo 


证 明 让 因为 {7,, 祷 )” 是 上 拷 ， ¥ kn, 
FP.= EX, = 2 BCXwi | 十 | x 


UR} tt) 
< | 基 十 | p= Byns 去: Ens 
ty Ui) 
< 一 凡生 下 < oo | (2. 29) 
. 于 是 | 0 — Bd + | x=0. 
[ {Cty 
注意 到 上 述 被 积 函 数 非 负 , 故 


lv EX NB) = Lo | 
又 fon 二 Nan BX = ELiowy BOX NF, ) | 
foesn By [=| < feosnpe 
由 此 iD 得 证 。 
及 (2， 29) 式 , 久 本 得 fen = mr 由 于 EX=—= V0, 由 束 
收 敏 的 定理 ( 即 如 百 ]X|< 之 oo, 则 BCX|.F.) 一 BCX|.B)) 得 
= B33. 


fy pe = Him) limye = dium) lm BCX | 


= I BE) = fu ke 
艳 生 成立。 
证 ?由 5, 的 定义 及 i 可 得 。 
定理 2. 23 著 <eoeE 忆 , 则 下 列 命题 等 价 
iD 工 基 已 中 广义 最 优 甫 则 , 即 BX 二 YF,; 
ii X 一 # 且 (1 全 ,是 正则 加 ; 
DX = 且 4yas) 入 ,是 正则 下 载 ; 
iy)o, 在 C 中 最 优 , 且 ot | 
los BCX BY = toreshe, = ture By i),) 
证 明 划一 让 。 由 站 在 区 中 最 优 及 引 理 2. 22, 知 艺 一 m% 而 对 
YY kn, 
Elm) = 再 (其 | 多 = lorpy tesv Eh |F) 
= losnpy tT lasng = pnr 《2. 307 
由 于 | | 二 18% | 之 90, 故 上 式 说 明 {y.n4} 共 :是 正则 拷 。 
让 = 过道), 显然。 
让 ) 寺 站 ,因为 {yn 六, 蚌 正则 下 于, 主权 :所 以 下 守 EX, 二 
BE, 二 Bp 一 V, ,所 以 1 是 ,中 最 优 的 广义 规则 。 
=>iv) ,由 一 %, 得 志和 ,让 与 让 等 价 , 因 此 8X, 二 之 0， 
且 电 引 理 2. 22 ， 
dra HEX | = Tre poBCXi FL) 
= eee > emot) ) 
而 EXs = Blliso Xo) + Bo Xe) 
= BL ROX Fs )] 十 是 Ce) 
= EX, = FF, 
, 因此 a 是. 中 最 小 的 最 优 规则 。 
ii ,如果 iv) 成 立 , 则 
* 4 





BX = El ROX NB) FF BOso, i) 
= Bese pe) + Be Xs) 
= Bliso Xo) T Ble Xi) 
= EX, = Vv 
所 以 上 在 马 中 最 优 , 定 理 得 证 。 

由 定理 2. 23, 我 们 特别 地 有 : 车 V<oo, 且 存在 最 优 规则 风 = 
EC, 且 og 是 0 中 最 小 最 优 规则 。 

注 6 (2. 27) 与 (2.28) 刻 划 了 1 为 C. 中 最 优 广 芯 规则 的 特征 ， 
常 称 为 最 优化 原理 。 

注 7 如果 由 ,4 条件 成 立 : 则 由 定理 2.7, 存 在 着 最 使 的 广义 
规则 :5 于 是 在 5 中 最 优 ,如 果 5 天 o 则 了 > 一 co :因此 如 蕊 
一 一 co, 则 必 PKe 一 ce) 一 0, 亦 即 e 是 最 优 的 规则 。 | 

由 定理 2. 12, 在 41, 4 条 件 下 ,存在 最 小 半 最 忧 的 广 文 规则 mm， 
而 * 是 最 小 的 最 优 广义 规则 .因此 ?之 Ww, 方面 Tw 本 身 是 最 优 的 ， 
因此 vo 所 wy; 于 是 f=, 8 

注 8 在 引 理 2. 16 一 和 定理 2.21 中 ,将 驴 换 为 己 , 六 换 为 加 
换 为 1, 结论 都 仍然 是 正确 的 。 


§ 2.3 对 无 限 情 形 的 通 近 


昌 然 在 $2.2 中 给 出 了 ,在 而 ,4 条 件 下 ;0 是 最 小 最 优 的 广义 
-规则 ,= 的 表达 是 结构 性 的 ,但 是 庶 用 起 来 并 不 便利 ,因为 六 及 六 
一 般 很 难 由 它们 的 定义 来 计算 ,所 以 用 有 限 情 形 来 通 近 无 限 的 情 
形 是 一 个 可 行 的 方法 。 
类 似 于 (1 贡 一 人 4 式 ; 引 入 四 党 ,ww 一 nn 十 1 显然 
BX 
"和 





. Mr 
于 是 存在 极限 


,= lim Ve 
i 
rs = lim 
- 下 
由 引 理 1. 1 . 
“ PE 一 Xa 一 其。 VY By! |. 实 ,.) 
Hy 一 LE 
由 单调 收敛 定理 可 得 


Ey = lim Bm 一 lm 一 pe, 

PP， 一 Jim 一 天 W Elyiri | ,) (2, 31) 
因此 (yx) 与 (y.) 满 足 相 同 的 递 推 关系 .但 下 面 的 例子 表明 ,一 般 地 
《让 关 ) ,如 设 纪 ,如 ，… 是 独立 同 分 布 随机 变量 序列 ,P(g 二 1) 


Pn 一 DX yoy ,… 和 %) ,显然 {X99,? 是 


拷 , 于 是 由 Doob 停止 定理 ,对 C0, 中 有 界 停 时 t,8CXi|9,) 一 X,, 因 
此 .二 lim 烙 == 久 ,但 由 引 论 中 命题 1,P《iimX, 一 十 co) 一 1, 邦 对 
一 急 oa 一 十 co ,所 以 天 ys 何 时 两 者 相等 呢 ? 

定理 2. 24 设 i%w 防 ,了 为 可 积 序 多 ,YEG sR 二 1 ,2 ,+， 


lm| COxs -= 0 (2, 32) 


则 ,= 二 ;特别 Vi 二 5. 

证 明 由 (2,31) 式 ,(y,) 是 上 著 , 对 (一 y,) 汪 ,应 用 引 理 2.13， 
则 Y feEC,, 
BlyiNF) ,| 
于 是 yY. 守 BCX ,Vi 之 ,而 由 仿生 ,又 得 放 入 为 ,所 以 ,一 
P87 一 ,定理 得 证 。 : . 

下 面 的 定理 是 由 考虑 统计 模型 所 引起 的 。 

= 6。 


了 


定理 2. 25 设计 二 X', 一 X4, 其 中 XX.,X4. 均 为 ,可 测 , 且 
D(X.) ”一致 可 积 , 认 存在 非 负 递增 的 序列 {名 ,多 ,使 
| ti Ceo 刚 对 一 切 RO ee 

证 明 ”由 于 (ty,)" 坊 X7 ,内 应 证 Y LEC, 有 

XD {fn Co) 


Ca) 


这 由 并 车 十 关 彼 关 十 臣民 
|*< | ,+ | xz 一。 人 一 ec) 


可 得 到 

推论 2. 26 车 世 一 Xp 一 Xe 一 Xe 一 X ,其 中 各 项 都 是 多- 
可 测 的 ,者 

和 CK } 一致 可 积 3 


ii) EsupX te oo 
HD OCX CX 
iv 存在 50, 使 得 "CX 
网 对 一 切 ay, 一 人 
证 明 令 X ,一 Xr ,Xm 一 及 二 CX 即 可 。 
在 二 yy ,4 二 1,2,… 的 条 件 下 ， 我 们 便 可 用 有 限 情形 的 最 优 


需 则 过 天 限 请 形 的 最 优 规 则 ， | 
定理 2. 27 车 Y a 一 1,2，…, 一 六, 则 
= Lim cy (C2. 33) 


Yr 


证 明 首先 从 翁 随 六 而 单调 递增 可 见 o* 二 inf fr 之 1;X 沁 内} 

是 单调 增加 的 。 记 6= lime* ,由 类 所 VV, 一 入 ;可知 90, 设 5tow) 一 

十 co , 则 5(oo) 关 efoo) 自 然 成 立 。 如 果 zeo) 王 mc 十 ce, 则 存在 A 

《oa) ,便当 入 之 和 NCow) 时 ,0* 《ow) 二 h, 于 是 Xukoo) 一 站 (oo) ,因而 

Xa (oo) 一 rs(o) 一 和 (oo). 这 表明 c(oo 扫 m 一 Ko) 从 而 “一 im 
* B77 = 





例 1 设 疡 ,如 ;… 为 同 分 布 的 随机 变量 列 ,oa 为 一 正常 数 , 令 报 

酬 铺 数 
XX, = maxfgi yy 思 》 一 疗 区 一 饥 一 各 
假定 | 之 0 是 ECR) 中 < 之 00, 则 可 证 明 存 在 停止 规则 0 与 
5, 使 得 | 
V = EEX,F 一 天 和 po = limo* :5 一 limoy 

其 让 亚 一 提 人 和 2 妥 呈 :六 扩 上 区 一 训 委 2 妆 放 :人 ) 天 这 
分 别 是 相应 于 (xi (总 ) 汇 ,的 Snell 包 。 

为 了 证 明 上 述 结 果 , 先 证 明 下 述 引 理 。 

引 理 2. 28 , 设 包 ,wi,-… ,ws"… 为 同 分布 的 非 负 随机 变量 。 Y a 
>0, 令 

ZZ = sup{max(io se sn) — mr} 

刚 DE ooP (Zo0) =1; 

DY P00, Be The oo E(t YL 00. 


证 明 站 由 Bo < 过 co0. 及 守 , 如 12， … 同 分 布 知 过 PC2m>>m) 


之 00; 由 Borel 一 Gatelli 引 理 , 则 PON {um> 屯 站 二 0, 即 PCNU 


pe [tn 


{ — kre S&F)=1, 而 二 sup (6 2》， 于 是 PIZ<ooD — nO 


和 为 证 (27)s < c' 只 须 须 证 | 一 ‘PZ > du < o0. 对 任 一 
下 
Plz SS 了 PC 六 4 十 坟 )》 二 1P(aa 人 2 十 及 ) 


= > So POE 1 中 十 3)") 


一 


。 68 。 


加 


= YEP Cw y+ 1)") 


t—l 
E(w — uty 
令 F(z) 一 PCw<7) aa 有 


Ew CO— #}+)' = 让 (xz — uj'qF(r) 
一 中 《zz 一 区 ”51 一 ~ Fld 
因此 
[wee > #) du 卸 "| (x ul Oo Px) ) drdy 


=v dc — a)" dr} (1 — F(z))dr 


const| ze (1 一 FC) dr < oo 


引 理 得 证 。 
现在 来 证 明 例 1 所 述 的 结论 。 
由 Byt)'t® oo—>B(sup Cmax (2yt 9 oo 


] 
Bisuptmax Cy" »Y, ) 一 瑟 ) }<o0; 令 二 max (Hi, 拓 ) 一 也， 


XX 二 max( 如 ,… ;加 ) , 则 多 一 2X 一 各" 一 一 a*. 由 于 


| (2 所 [x< | (Xe -+ | we 


ty Ty dt {a 
< | CX2 六 十 | 
{i Ca 


所 以 为 了 证 明 左 边 当 nn 一 eo 时 趋 于 0, 只 须 证 明 右 边 两 式 趋 于 0。 
由 于 X2 字 扩 ;CX "入 拓 而 Ely| < oo, 所 以 第 一 项 趋 于 0。 为 了 


证 明 | # 一 0, 只 须 证 Bt < oo ,注意 到 地 = Xi 一 XX 才 XD 十 


i) 





* 让 号 





Xi ,而 有 Xib < 忆 supXP < 00, 且 由 1 EE 如， ,可 见 BX 过 50, 这 样 
Et < oo { 本 王 0. 由 定理 2.24,y, 一 h* 而 由 定理 2.27 即 知 o = 


lim pr”， 同样 的 论证 用 于 多 : 即 知 5 二 limo*. 容易 验证 4 条 从 成 
立 ,由 注 7 可 知 w 与 0 都 是 最 优 规则 。 

例 2 变化 点 的 检测 ,在 质量 控制 中 ,我 们 要 观察 生产 过程 中 
某 一 个 量 的 变化 ,如 设 该 量 的 观察 慌 椅 成 独立 同 分 布 的 随机 变量 
序列 纪 , 名 ,生产 过 程 在 菜 时 刻 86 发 生变 化 ,我 们 要 探测 这 个 变 
化 的 发 生 . 为 了 简化 ,假定 6 混 非 负 整 值 随机 变量 .并 且 有 先 验 分 
让 | | 

Pl#—= 0)=x 


PO E>0=r, £=1,2, Dn 


我 们 观察 到 y ga .其 中 人 与 cy 分 别 服从 
分 布 四 , 刀 . 若 过 旱地 停产 检修 , 即 当 4>= 时 ,我 们 要 损失 ce( 一 个 
国定 检查 费用 ); 若 停产 太 晚 , 即 gsse 时 ,将 要 造成 损失 n 一 9, 于 是 
要 问 何 时 停产 检修 ,才能 使 平均 损失 最 小 ? 

令 多 .一 c( 观 察 到 的 前 不 随机 变量 ) 。 

. = SG — on, n= 0,1,2,." 

其 中 ， 
爱 一 PC0 一 让 多 ， in0 
mPOA |),), nz0 

“显然 4 和 件 满足 ,因此 。 在 可 中 最 优 , 令 一 (UF.) ,对 任何 

一 1,2,0 > 入 , 当 n=ool 时 

UG — DR MPO NP) -oo 


在 {PCN|.Fo) 之 0} 上 成 立 . 而 U {PON197)>0) 二 QC 车 不 
和 ?0 和 | 


然 , 则 对 一 切 w,P(O<AN | 多 -一 0 于 是 Y 4E FP(414EN) 一 
0, 从 而 C4) 二 )0;, 因 此 总 -一 o0(n>c0) as 而 定理 2. 23 立 注 7 
说 明 o 是 C 中 最 优 规则 。 


为 了 证 明 = 可 以 由 "来 通 近 ,只 须 证 明 lim | DE = 
oa 
0 对 任何 :EC 成 立 。 因为 
| Bo on en] 


Cn) ty 
| Dua-on< | ax < 
Cn = | (3 


故 上 式 当 ">co 时 趋 于 0。 
8 2.4 单调 情形 


现在 我 们 用 一 般 理论 来 解决 一 类 特殊 的 最 优 停止 问题 。 
， 设 {X,Y 是 可 积 的 随机 序列 , 记 
= {mCX | ) 1 
如 果 让 4E4S… C2, 34) 


PCU A)=1 (2. 35) 


则 称 {1X ,多 .属于 单调 情形 。 
大 C2.34) 式 ,似乎 





So= inf 人 fa 1:X, DS BOX | 天) {2. 36) 
应 该 是 最 优 的 ,首先 由 (2.35) 知 PCS<ecc) 一 1, 但 下 面 的 例子 表明 
3 并 不 总 是 最 优 的 。 
回 到 引 论 中 例 1 ,容易 算得 
， 了 C1) 
ECX = ja 十 D3 


Tl* 


因此 aa6 机 一 区 一 0 一 站 一 人 一 0->oE 4 , 且 
PS<ec) 
=P( U4) 
二 PO wn 宇 1, 使 如 关 一 1) 
=]— Ph 一 ln=1,2,.") 
一 1 一 ImP 人 天 一 ,asm) 
=1— lim (PC%, 天 一 1))* 一 1 
但 是 我 们 在 那里 已 看 到 ， 任何 SEC 都 不 是 最 优 的 ， 自然 要 辣 单调 
. 情形 的 最 优 规 则 是 什么 ? 
”在 单调 情形 中 ,如 果 C2.36) 所 定义 的 85EC, 则 从 5 的 定义 可 
知 (2. 15) 式 成 立 , 因 此 若 人 C2.16) 式 成 立 则 是 可 取 的 (9| 理 2. 13) 
.另外 ,从 引 的 定 广 及 (2. 34] 式 可 见 引 理 2.15 中 (2. 19) 式 成 立 , 只 
要 YiEC,(2.20) 成 立 , 则 8 是 半 最 优 的 ,从 而 YiEC,EX, 之 BX,， 
所 以 5 是 C 中 最 优 规则 ( 见 定理 2. 8) 。 
定理 2. 29 设 在 单调 情形 中 , (2. 16) 式 成 立 且 SEC， 如 果 存 
在 非 负 可 积 随机 变量 严 人 ,使 得 
十 络 ， C2,37) 
则 对 每 一 个 使 <oo 时 1E.F ,有 BEX, 这 BX 计 一 oo. 
证 明 只 须 证 对 满足 定理 条 件 的 蕊 有 荆 和 县 人 2. 2 起 成 立 ， 
事实 上 





EXr EW 十 EC < oo 


Ix < [+ + foe=o [PE 一 Oo) 


推论 2. 30 设 在 单调 情形 中 ,SEC. 且 (2.16) 成 立 , 《Xi 一致 
可 积 , 则 8 是 最 优 规 则 。 

例 1 假设 六 ,六 ,… 是 独立 同 分 布 序列 ,如 | 扩 |<ce 且 所 不 恒 

+ 


故 t€EC 且 





为 常数 ,考虑 报酬 画 数 序列 二 m, 一 g(t) ,其 中 力 一 max(gi 
妨 ?23(o 是 费用 范 数 ,严格 递增 。 
记 .二 0 一 十 1) 一 g(rn) ,表示 第 ww 十 1 次 的 观 


察 费 用 。 
引 理 2. 31 V 4# 一 1,2-…, 存 在 唯一 的 % 满足 
Bly 一 的) 一) 《2. 38) 
且 一 1,2，… 
DE | ES (2. 39) 
Dw fn 十 1) {2. 40) 


证 明 考虑 连 绪 画 数 p(B 一 Bi 一 让 + , 当 g(t 让 0 时 ,5 
(8) 严格 单调 递减 , 目 EC 一 和 + 0C8 一 20), 而 了 4) 尘 0, 因 此 
存在 唯一 的 m ,使 (2. 38) 式 成 立 。 

由 访 1 一 计 二 maxtyis 1 一 max (yl ee * 护 ) 一 fn) 一 (Cys+1 
一 mo)+ 一 了 Cn) 故 

至 (| 天 ES XSBEC + 一 mm | ) fn) 

记 4 一 {BC mF YF), B= [m2 990) 
不 真 ,; 则 PC(48) 半 0, 因 为 48E. 久 ,, 与 4. 独立 ,而 在 8B 上 (yx 一 
mm +, 于 是 


. gcc my | 多 
-| mm ) + 
-| 一 后) 
-中 


=PLAB)FCOD = sf On) 
与 在 4 上 ,本 [人 (一 加) 六 | 罗 执 Fe) 矛盾， 
反之 , 记 4= {mm 这 0} B= {EC(Cg pm)+t | 和 小 守 了 0n)), 若 结 
站 了 写 日 


论 不 真 ， 则 有 PLAB) = 0, 由 于 AHE 了,, 在 4 上 { 轨 > 一 着 + < ( 护 +1 “ 
一 o 从 而 


| By — me)* I] < | ee 一 = fe 


矛盾 ,所 以 到 + 多 所 并 
订 是 显然 的 . 引 理 得 证 。 
现在 和 根 设 fr 十 1 之 aa 一 1 2 , 则 图 上 述 引 理 ,m 之 
wii 国 此 若 如 (Xi 有 所 X 由 于 它 等 价 于 加 六 mm 因此 .+1 之 
这 表明 (2.34) 式 成 立 . 而 
PS<oo) 一 1 全 (2.35) 式 成 立 。 由 于 
向 一 inf 人 共 1: 丽 征 | 庆生 和 inf i 这 1m 这 } 
而 从 BC 一 81)+ 二 了 (1)>0, 可 知 p= 二 Pj 过 a) 所 1. 
于 是 当 rn 一 oo 时 
PCS>>a) 
=P(m< 于 ,2 7) 
SPI 1 
故 PCS<<o0) 二 1, 从 而 在 f(n} + 的 条 件 下 , 例 1 属 于 单调 情形 。 
出 定理 2. 29, 为 了 证 明 (2, 36) 所 定义 的 基 最 优 规则 , 须 证 明 
(2. 16), (2. 37) 成 立 , 且 YtEC,Bg()<<o0, 对 任意 m==1,2,*… 
有 Sm 一 epcs 一 如 二 yivP(s 六 这 yp- < ea 
4 一】 


+ 一 1 kl 


于 是 由 wald 方程 
EX (有 十 和 十 轴 )》 一 有 让 "ES oo 
在 [S 半 #7] 上 ,mh 之 a， 邦 Amt ,因而 
[SdPG>H 0 nm 


Ca) 


《2. 16) 式 成 立 , 叉 取信 地 ; 则 (2.37) 成 立 , 往 证 Y iEC, 区 (四 之 
co; 为 此 先 考 虚 9(n) ==c, 的 特殊 情形 ,这 里 >0. 
-T7414* 


此 时 fF) 二 cya 二 on 一 1,2,…, 其 中 满足 B+ 一 中 + 一 


相应 的 停止 规则 
S=inffn 守 1m 这 二 inf{tn 守 11: 如 这 人 


由 于 


EX, 一 了》， [mer 
ml cou) 


E33 


| 


Li 


| 一 PCS Pn) 
1 tp 


0 m1 


DP(S a) ( | 六 一品 


el cr 四 


I 


= [1+ Sp < oy | yi — 0) 


?1 





1 一 一 
= Tp a | 路 二 4& 


tL 


对 咱 >>a 信 总 一 CM A 
=m maxty GC 一 
YF EC 则 E87 之 co, 由 Wald 方程 ,ES 
二 可 (Cg 一 9)+ 一 0)<0. 这样 , 玉 <o0, BXa 十 Bt, 令 a 一 
4, 则 得 . | 
“ EX a= EXs 
于 基 避 是 最 忧 的 规则 。 
现在 可 以 对 一 般 的 情形 论证 :¥ { € CB90) 之 oo0, 因 为 g(x)， 
Ff(n) 都 是 递 载 的 ,由 fC1) 之 0) 一 9g(1) 一 9007 一 g(1), 可 证 得 
go 六 9 因此 交 一 内 一 5 所 mu 一 亏 9CDm 如 果 存在 4E 


们 ,使 Satt) 一 o9 ,那么 如 令 总 —1h 一 亡 9C1)#, 则 从 特殊 情形 的 论 


证 可 向 
* FTO» 





— CBX Bm — F960)) SC Bm — SID EX < 





co; 这 与 EX = Blm Fg > BgCt) 一 一 oo 矛盾 。 

既然 在 一 般 情 形 , 即 假定 f(x) = ytx 十 1) 一 Yo 非 负 递增 ， 
证 明了 90D) 之 0 对 一 切 1 EE 如 成 立国 此 (2. 36) 所 定义 的 规则 万 
是 最 优 的 ， 

例 2 带 观察 费用 的 序 贵 Bayes 居 订 , 设 is dos … 是 来 自 (9 一 
| | 


立 ,8 一 衬 ) 上 均匀 分 布 千 体 的 样本 ,6 为 未 知 待 估 的 参数 , 若 用 4 


估计 4? 取 估 计 的 风险 为 (9* 一 及: ,假定 每 次 观察 的 费用 为 常数 C> 
0,9 有 先 验 分 布 :[0,1] 上 的 均 色 分 布 ,现在 要 求 一 个 停止 规则 i， 
使 
BC Ci r* Yn) 一 A? = min 

令 久 ,二 olyn 如) ; 先 求 在 已 知 如 ;各 ,… ,各 下 9 的 后 验 分 布 
密度 pCa|y, ar , 记 PB, Ws ) 为 如 与 所 3 的 联合 分 布 
密度 ,Ply ,…, 刀 | 的 为 已 知 8 条 件 下 ,如 ,加 ;如 的 条 件 分 布 密度 ， 
“了 P(9) 为 先 验 分 布 密度 , 则 
PiB|g sd ) 一 GOPC9) 


ee ss) OPO 





在 EL0,1] 时 ,PC 一 1 
1， 叶 一 于 雪 9 二 十 去 
0， 其 它 


这 里 于 二 max (Cys) Tm = minf 扩 加 )， 
.因此 , 当 0 了 所 8 志 1 时 ， 


Pig sn 一 IT Pewte) -| 


1 
有 (8[ 了 一 I 一 于 十 了 
0， 其 它 


a 


i 量 


而 当 8 之 0 或 8 六 1 时 ,PIG|y. 加) = 0s 记 2 = MT 六 尺 一 


MM, 一方 : 刀 一 避 一 雪 一 地 一 用 ,十 1, 由 条 件 期 望 的 福 质 可 知 ,在 
已 知 束 ，… ,条 件 下 应 取 9” = BCb| 多.) ,可 使 风险 BC 一 ?最 


小 。 





如 十 加 
2 





"E00|F,) = 寺 |w 一 


此 时 后 险 平 均 风 险 为 


BCC'6 一 的 有 多] 一 也 


2 
12 色 


如 果 不 观察 而 直 搂 估计 4 只 能 令 0° 一 二 ,区 而 平均 风险 为 令 


1 Bn’ 
‘二 (号 好) 一 一 一 一 TF” 


往 求 (x,, 罗 已 的 最 优 停止 规则 .由 于 
下 (本 + |B,= 8) 
=E(Cm A yt O— MY yt 1) |B.= 8B) 
. =E(ly+ri— NM 二 Dm ) 
— (Cm — MT DCm) 
— Cm OD MM) |B, = 8) 


mm, 1 . 
-| (Cy Mt) dy de 


-i Bd loot) 【了 一 9 十 Day "六 dg|。-s 
pn2r1 
一 号 (1 了 ) 


于 是 ,2(CXsril 多 一 交 一 十 让 民 ， 全 一 (多 之 CX 多 .)) 


一 4 过 24c 由 于 吕 4 , 故 和 4 个, 为 证 {X,,7 ?属于 单调 情形 ， 
"77 





一 limP(24c 过 成) 二 0 成 立 , 事 


只 需 证 明 limP( 及 4) = limPCAY 
“的 极 差 ,由 极 差 的 分 布 


实 上 ,着 记 一 了 — mm, 它 基 样本 yi 
密度 是 

an 一 0 六 (Ptz |r) FOF f(z + rdrsr > 0 
fautr) = 0 


0， 7 反 和 0 


这 里 ?是 妨 的 分 布 函数 ,了 是 分 布 密度 
y 一 90 十， 8 一 十 


Fly) = 410, Ei 


1， 之 0 十 亏 


. 1 1 


0， 其 它 
因而 , 户 (r) 一 x 一 上 (1 一 rm 于 是 


一 ie ~ 
一 ] nz Oo lm — rydr 


< 一 。 旭 一 2 一 人 一 1 yr 0 《am 00) 


站 一 了 + 一 上 一 Waae 





因为 半 志 0,X 一 亢 忆 or,0<BA1 a. 8. 而 对 一 切 1EC,BX7 < 


00 李 现 之 oo 本 到 < 之 co 因 几 
一 inffn 之 1; 庙 近 24c} 


是 最 优 的 停止 规则 。 
. 现在 我 们 来 研究 在 单调 情形 由 有 限 通 过 无 限 的 问题 。 
引 理 2. 32 设 (X 多 属于 单调 情形 , 则 | 


SY=NAS 


» FR* 


其 中 ,8 由 [2.36) 所 定 尽 ,一 in 人 久 ) 玫 一 esssup 盏 


‘eet 
(CX | ,)。 

证 明 记 4. 二 {XB(X,+ |. 宏 .))}. 

说 如 SC@0) 池 放 ; 则 由 5 的 定 久 ,Xx_1CO)<B(Xy|y_ DS ， 
于 是 81 二 N= 二 SAN, 

i 如 8SCo) 一 nm<w, 则 由 单调 性 

二 

于 是 
了 从 一 
由 归纳 法 可 证 





fm) = ny Xn 
这 表明 (8S 二 CC[S* 寺 m],S* 守 5; 男 一 方面 ,着 5*Cw) 二 wm 入, 则 
Xr | 玉 ,所 以 嫩 宇 8, 因此 8S” 一 SAN. 
定理 2. 33 ” 设 {X.,. 宛 .)? 属 于 单调 情形 ,/ <<o0,8Xs 存在 , 且 
对 每 个 :EE 


Lim | CF) 三 避 《2. 41) 

ny 

则 & 为 最 优 规则 的 充 要 条 件 是 
lim 1 一 0 《2. 42) 


tH) 


证 明 由 (2. 41}) 式 ,可 推 得 二 y, 由 引 理 2. 32 得 
oi=infinS] ;Kh} 
一 liminf{n 这 1 :; 半 这 访 } 
=limS*= 
EXY= 上 一 =) 


Nc 


7 = lim( | 尖 s 十 Xu) 


* ?90.* 


一 EX, 十 各] 太 

所 以 3 是 最 优 规 则 会 62. 42) 式 成 立 。 

推论 2.34 设 {X,,. 多 .)?, 属 于 单调 情形 ,4 条 件 满足 ; 且 Y ! 
后 (2.41) 成 立 , 则 (2. 36) 所 定义 的 3 是 最 优 规则 。 

证 明 事实 上 ,S$ 一 a. 

推论 2. 35 设 {, 肥 ,属于 单调 情形 ,所 一 和 一 X 其 中 
DX 非 负 , 史 ,可 测 , 且 召 supXscc5iAw 非 负 单调 土 升 且 多 
可 测 , 则 8 是 最 优 规 则 。 

证 明 由 推论 2. 34, 只 须 证 52. 41) 式 。 


| Cy | A < | MX 





i iny Ut 
而 . 
Eg 一 | apxz. <|or 一 其 一 人 < ce 
因此 
Cy) DD A oo 
tr - 


例 3 阁 贼 问题 , 它 的 表述 见 引 论 中 的 例 5. 对 于 窃贼 问题 ,有 有 
BsupA, < ee 


这 里 ,二 Ta 2"y ,其 中 他 ) 是 独立 同 分 布 且 期 望 有 限 的 随机 灾 


基 :5 4 是 一 列 独 立 间 分 布 随机 变量 PC4 一 1) 二 1 一 PC5 二 
0) 一 多 (及 ) 与 (页 ) 独立 家 .一 fg 加 - 
证 明 《注意 到 闽 瘀 0,P(4 一 12 一 12 一 0, 因 此 
E supX, ， 


won| 


|; 1 一 1 一 1 一 D1 
ia 
， 


supC 下 D3) 
= i i 


| 


.80 


. i 一 
=]; Da ZG— DEy "rp ! oo 
J i 3 和 21 “ 


引 理 得 证 。 
现在 我 们 来 证 明 穿 贼 问题 属于 单调 情形 ，。 由 独立 性 ， ¥ n=1, 
Ds 
BX | 多 ,= ,Gopi 二 
= Bi + BO + 
= np 二 pp] 
这 里 ,x 二 遍 1, 因此 | 
==BCX + | ,) 
全 或 了 mt 使 夺 =0, 或 (名 十 "十 向 )p 十 PE 而 十 十 如 


于 是 
4 A {XS EX PD} GE dn 


PSO EP =16 =1)=rF--0 
co 一 二 
由 冲 supX < 之 oo ,C2,16) 涉 成立, 又 因为 全 之 0,(02, 20) 成 立 。 因 
此 由 定理 2, 8 可知 最 优 规则 是 


§ = inf{r 1:616.， 之 一 也 十 各 委 0 或 束 一 全 


那 就 是 说 对 窃贼 来 说 ， 要 么 在 被 抓 住 时 就 洗手 不 二 ， 要 么 在 所 从 闪 
的 累计 超过 了 了 二 ;x 就 洗手 不 干 是 最 明智 的 第 略 。 
如果 修 改 报 本 函数 为 
区 一 ITs - (2 一 名. 
式 中 心 +, 忆 六 0, 且 ce 也 单调 上 升 ,这 表明 每 次 行 窍 要 付出 


一 定 代 价 , 则 类 似 可 证 明 最 优 规则 是 . 
* + 


一 inffa 完 1 To Sse — 1) + 一 各 + 十 名 委 0 或 天 一 介 
如 果 修 改 报酬 函数 为 
x= .HD -a 1c. 
这 里 c. 如 上 所 述 , 册 表明 如 时 一 旦 被 抓获 ,窃贼 不 但 要 交 出 全 部 
赃物 ,而 且 还 要 交 出 罚金 , 则 此 时 最 优 规则 是 
8 = inffa 之 1 Ha Suc 一 1 十 pp) 十 Hi —0) 


SC 一 以 或 到 一 有 
8$2.5 三 重 极 限定 理 


在 8 2.3 中 ,我 们 已 经 讨论 了 用 有 限 逼 近 无 限 的 问题 ,在 那里 
寻求 一 个 使 得 二 y. 成 立 的 条 件 蚌 一 个 中 心 问题 ,现在 要 寻找 一 
人 计算 方法 ,使 得 不 论 在 什么 情形 下 Snell 包 y 总 能 计算 出 来 ,这 
在 理论 与 实际 上 都 是 很 有 意义 的 .为 此 不 但 要 对 序列 的 指标 集 进 
行 截 尾 ,还 必须 对 序列 值 进行 截 尾 , 这 就 是 下 面 要 介绍 的 三 重 极 限 
定理 .虽然 真正 用 它 来 计算 »% 并 不 理想 ,但 是 通过 它 可 以 进一步 
研究 Snell 包 ”的 性 质 。 

设 {X,, 字 .JP 是 一 个 可 积 的 随机 序列 ,对 任意 的 a0,5>>0, 令 


Ds Xb 
ea Nh 《2. 43) 
Qs 让, 
或 写 XX(o,5) 二 (Xn V a) Ab. 
Xp) A XN oo.b) (2. 44) 
XA a; | co) {2, 45 


以 C1) pC 分别 记 相应 于 站 (Ca , 半 C8) ,X98) 的 Snell 
二 如 2 时 


包 , WCay 扣 ,到 (0), 信 (CD) 分 别 表示 相应 于 XX,Ca,5) , 针 《) ,XC 四 ) 在 
有 限 CN) 情 形 的 Snell 包 . 因为 (X,Y a)- 坊 47, 由 定理 2. 24, 便 知 
lm) 二 Dim =V.(a),n 二 1,2,"… 因 此 自然 要 间 否 有 
| lim 和 Ko 一 六 


yo 


lim 9 Ce 一 


上 一 ce 


下 面 总 是 括 定 


Xu 一 JimXs， Y= lmy,, P= lm {2, 46) 


Nm EE Nc ~ 


引 理 2. 36 若 随机 序列 {A. ,多 ,) 满 足 

站 p= Xs 

i) ¥ #1 2 HK VY EC |F); 

过 ) 存在 非 负 随机 蛮 量 #, 妈 <<co ,使 得 和 局 所 BG| 六 
Bp 1 2, 

证 明 Y=1,2,…, 往 证 Y se 7.,| p< [关上 不 
真 , 则 必 存 在 某 6,2 汪 0 及 4E 祈 ,PC4) 沪 0, 使 


| ,> [nte 
令 {二 inf{h>m,X 之 名 一 看 , 易 知 1 为 停 时 ,在 [#2] 上 ,X,<< 记 
一 站 赤峰 这 》 "ECBLL | 多) » 由 iii EP Eu oo. 而 tm } 是 
一 致 可 积 的 ,因此 从 引 理 2. 14, 可 知 | 
BB FFB nn=l 2 
于 是 YY BE .Fs 由 匀 ) . 
2 | js= | pt+ | 《2， 47) 
取 5 一 品 , 则 从 上 式 可 知 P(t 二 oo0;X%w 二 一 09) 二 0 得 内 1 的 定义 及 
1 可 知 PQ 二 oo0,Xw 六 一 00)==0, 克 R(t 一 oo) 二 0, 从 而 1EC, ,在 
(2. 47) 中 令 B=4, 则 
| < | 6. 一 二 [Bp—e< [x 
由 总 对 [La 


这 与 ECX. 芒 ,) 蔬 盾 , 引 理 得 证 : 
引 理 2. 37 设 {X,wF ?满足 条 件 ,1{ 记 wF)? 了 为 一 个 随机 
序列 ,使 得 Y az 一 1.2，…… 
XE BCsup X, | .多 站 


则 太一 区 ,这 里 起- 一 lim&- 
证 明 显然 大 守 X ,多 对 每 个 加 二] ,2,… ,nn 
PB sup 有 
由 鞭 收 敦 的 jery 定理 
bblsup Xx | ) 一 sbp 入 
再 令 mco , 便 得 所 所 YX- ,证 毕 。 
下 面 引 入 育 数 妨 . 令 
= Elsup Xl ) : 1 
fF 





= ROL) n=N 1 N21| 


于 是 对 每 个 
X,Y EC Sup = YY ECF!F .= 
tu 二 1 
入 二 lim Ey (C2, 49) 
引 理 2. 38 设 1 多 ,满足 条 件 41, 则 对 每 个 +, 有 
i 二 人 一 办 ; 
ji lim PA) = 
R=Elsyup XS RCN | ) 
[2 
故 态 裤 六 ,由 后 退 归 纳 法 可 证 
六 一 总 V RO) |) X,Y 再 (+ | SS,) 一 坝 
令 Noo, 则 得 . 
信 池 人 汪 
业 人 84 里 


在 (2. 48) 中 应 用 单调 收 鳄 定理 , 则 
XV E+ |,) 
在 引 理 2. 36 中 取 z 一 sap 半 ， 反 二 及, 又 从 引 理 2, 37 可 知 入 一 《于 
是 | | 
为 < 
这 就 证 明了 其 二 二 
i) 由 定义 知 (9) 基 = 的 递增 函数 , 令 各 一 lim te). 因为 (a) 
次 用: 故 放 凑 六 ,由 因 人 (a 一 站 (aVR+io) |. 实 ,) 及 单调 收 语 定理 
即 知 
yp 一 区 VC 
在 引 理 2. 37 中 取 久 一 po) 一 XiCa) 从 和 (go 满足 4 条 件 , 即 知 
六 《一 Xe Ko ,于 是 这 之 po 人 一 六 (0 一半 Ca 一 一 00) ,而 由 次 
六 易 得 壤 守 Xm 所 以 由 一 Xe 
在 引 理 中 2. 36 中 取 吕 一 六 , 旭 得 和 为 ,于 是 六 一 lim (0). 
引 理 2. 39 ”对 每 个 4 二 1,2,… 
,Him 世人 一世 
lim = 
证 明 YV n=], 2,-… (5) 是 纪 的 递增 函数 , 令 
yr = Jim yb) 


be 


则 - 卢 委 关 是 显然 的 ,对 每 个 了 >0, 及 拭 人 到 
BOXAD | FY EB BW C2, 50) 
由 于 X78) 二 X7,BX7 之 co, 在 (2.50) 中 应 用 单调 收 伍 定 理 , 则 
EX | ) = lim ECXCO | 芝 和 
大 而 二 汉 ,这 便 证 明了 lim (50 一 也: 同 样 可 证 明 lim % (8) 二 b 
本 节 的 主要 结论 是 


定理 2. 40 对 每 个 as 一 1,2,.… 
» BD. 


Py * 
证 明 ”对 每 个 一 1:2, ,b>0, {X00) ,FY 满足 4 条 件 , 于 
是 由 引 理 2. 38 
pb) = (by 
再 由 引 理 2. 39, 得 一 .因此 户 三 到 一 冰 一 所 定理 得 证 。 
这 个 定理 告诉 我 们 ， 尽管 将 最 优 停止 同 题 从 6 扩展 到 .并 
不 改变 与 上 .的 值 。 
定理 2. 41( 三 重 极限 定理 ) Y *= 二 1,2,-… 
D) 亿 一 1im lim lim ww Cab) 《2. 51} 


ba 一 no0 业 一 





[=tim lim limk a,b) 


[ts mele 


jy y, = lim lim Ye (8) (2. 52 1 
T， lim lim Ey (5) 


bo No 


证 明 昌 先 考 虑 序列 { 蕊 (Cg 的 元. 站 由 于 区 (ep 32 内 5 
>0, 散 (CX,(a.8))- 吉 oq ,因此 让 定 理 名 24, lim Wy (a,b) = ha, , 因 
为 XC 可 所 刀 满 足 条 件 41, 因 此 由 引 理 2. 38 

lim pC4,8) = 8) 
再 由 引 理 2,. 39 
limy, Cb) = 

联合 上 面 几 个 极限 式 子 ,使 可 证 得 (2. 51) 的 第 一 式 , 应 用 单调 
收敛 定理 便 可 证 第 二 式 ， 

ii)y 因为 六 人 的 关于 单调 下 隆 , 由 引 理 2. 38， dim 这 (5) 一头 (D 
一 内 (50),《2, 52) 之 第 一 式 得 证 。 

往 证 第 二 式 ,因为 p65) yp, 育 y, 存在 , 故 limBy.(8) 一 lim& C5) 
二 了 .再 由 这 仆 ) CO CN->o0) ,而 (B= Bsup (Xe Ab) | 实 n} 是 
可 积 的 ,由 单调 收 笋 定理 

lim ERB) 一 By. (Db) 





* B+ 





于 是 VlimBy.( 3) = lim lim ED). 
8$ 2.6 (om) 与 人 7) 的 正则 性 


定义 2.5 称 上 坝 5 或 装 ) 序 列 {p 多.,) 了 关于 一 个 停 时 类 六 是 

正则 的 ,车 对 1E 六 ,三 存在 , 且 
Ea) Ee, {Ris 1 | 

定 闵 2.6 若 了 ={%1a)T 了 与 2 二 13.,.F4)? 了 是 两 个 随机 序 
询 , 我 们 说 了 控制 2 是 指 ¥Y #=1,23,-… 有 隶 实 勾 , 若 Y 与 是 随机 
序列 ,存在 一 个 随机 序列 的 类 .% ,使 得 

iy YE .4, 

ii 工控 制 艺 ; | 

ii》 每 一 个 控制 2 的 YE .3 也 控制 Y, 则 称 Y 是 类 .中 控 
制 志 的 最 小 元 。 

定理 2. 42 ” 设 {1X,,. 多 .j7 是 可 积 的 随机 序列 , 则 

iD {fy )T 是 控制 [XJ 的 最 小 上 鞍 ; 

让 (pT 是 控制 {XajF 的 最 小 5 正则 上 车. 

证 明 站 由 yy 一 XaV By | 实 0) 知 Cy. 是 控制 (CX,) 的 上 
辕 , 设 1a sj? 也 是 控制 CX,) 的 上 著 , 则 所 守 XX 二 并 ,由 后 退 归 
纳 法 若 已 证 得 记 + 实则 | 

XV Ep PY BOB ,) = A 

令 #-eo, 便 得 ,所 皮 ,站 得 证 。 | 

ii》 先 证 人 ,多 7 是 5 正则 的 ,假设 (x) 满 是 4 条 件 , 关 {7.， 
,J? 不 是 C 正则 的 , 即 存 在 基 个 ?六 1,e>0,4 和 史 , Pd4)20, 使 
得 对 菜 一 个 :EC 有 


[ 六 十 :所 s | 入 
| 3 门 Wx) 




















由 引 理 2. 16, 存 在 避 中 一 列 递增 的 可 取 序 列 避 使 得 XX | 
子 Groo). 于 是 对 k=#on 十 1,…, 存 在 t,( 改 记 为 4)EC. 使 


[2 
dant 





了 
4 六 和 一 已 + 





四 四 
, 令 下 二 和 nazo 十 量 ww-afaco91 易 见 !' .FF, 且 
上 一 和 


ww £ 
| X= | XL | WT 
A tts) Fh A ik) Pp A = 2 


4 


一 | 一 二 之 十 二 (2. 53) 
4 2 AN iz 2 
EX = | 大 严 十 - | . 访 ' 十 | 在 
AN ry 4 站 GD 


之 | ,xat | ww 二季 十 | wa 
二 BX# 十 也 之 一 oo 1 
所 以 站 所 Cn; 且 从 (2.53) 式 得 
PR | Fp) 0 
这 与 » 的 定 尺 矛盾 ,这 就 证 明了 在 4 条 件 下 ; Cy) 是 CC 正则 上 操 。 
一 般 情形 下 ,对 >0, 由 上 所 证 , {3) ,Fn)? 是 C 正则 的 , 因 
此 Y IE CEO) TY) ) CP). 由 引 理 2. 39, limy(8) =y., 
故 从 条 件 期 望 的 单调 收敛 定理 得 
By A, (tn) 
这 就 证 明了 (Cy) 是 5 正则 的 。 | 
最 后 来 证 明 最 小 性 ,为 此 设 {&,.Fn} 是 控制 的 C 正则 上 
熟 , 于 是 Y EC 
FREAK PR) 
从 而 记 尘 人 ,定理 得 证 。 
注 9 如 果 Y xr, 实 0, 则 (Cy,) 是 控制 (X,) 的 最 小 上 蒜 , 此 时 
— n= 1 


* BR» 


事实 上 ,如 了 = (% ?是 控制 蕊 的 上 款 , 它 是 非 负 上 蒜 , 从 而 满 
是 Doeb 停止 定理 的 条 忻 teyw ) 是 一 致 可 积 的 ) ,就 有 
hE OEX FEC,. 
因此 Yn Ve 


8 2.7 最 小 与 最 大 的 最 优 停 时 [2' 和 9 


由 定理 2, 23 可 知 ,如 果 条 御 4 ' 和 成立, 则 0, 是 六 中 最 小 的 广 
六 最 优 规 则 ,下 面 讨论 当 7 是 一 个 停止 规则 ,在 


中 最 优 停止 的 问题 。 
定理 2. 43 ” 设 人 是 停止 规则 BXF 过 co, 则 
esssup ECX Py) (2. 54) 
Byr =—Sup BX 《2. 55) 


证 明 CC; 非 空 , 令 sy 一 esssup ECX|F), 对 sECr a VnEC,, 
且 在 [? 一 *] 上 ,s 二 sYw, 因此 在 [Y=nJ 上 
BOX NF = BEX ya | FE gs. 
于 是 ry 所 , 荔 一 方面 ,如 sEC,sYTE0;, 在 [T=n] 上 s 二 sY 7T. 因 
十 在 [7 一 xj] 上 : 
EX FA) ENsyr Fr a 8. 
所 以 在 [Y==x]J 上 yr 让 8. 这 样 ry 二 yr 他 3， 

对 一 切 5E Cr ,Byr 守 #8X4, 于 是 Br 这 sup8X, 注 意 到 ,如 抹 t,sE 
Cr: 记 4 一 (本 (X| 名 < 有 (| 多) 则 7 二 14s 十 IriE 0r, 事实 上 ， 
AE Fr ,Tm r=m)=AN GG=mB UA (=m =AN (TEm) [NG = 
5 U4N TD 人 N=m) EFm; 可 见 rE 0, 而且 

ECX., | .2 
PS 


ECE | Fr) LacB( Xt 7) 
=E(X,|.Sr) VY ECX Fr7) 
因为 已 证 明 Wessup ECX 7). 所 以 完全 可 以 参照 引 理 2. 16 或 
定理 2.7 的 证 明 , 存 在 (ss)C6r, 使 得 加 一 sup ECX | 多 ,所 以 到 
. = lim BX supEXL 从 而 Byr—shp EXt 著 证 。 

注 10 读者 还 可 证 明 : 如 给 定 停 止 规则 了 ,全 or 一 inffa 芒 
一 %} 则 当 or<ce us 时 ,or 是 Cr 中 最 小 最 优 规则 。 

由 注 7, 在 条 件 4, 必 下 ,o 一 am 其 中 m 是 最 小 半 最 优 的 广义 
规则 。 

现在 来 寻求 最 大 的 最 优 规 则 ,由 于 (%)2 是 一 个 上 秽 , 这 里 假 
定 == 一 ,由 Doob 一 Meyer 分 解 定 理 

yx 出 一 下 

其 中 ,于 一 (mT 是 蒜 mi 一 + 一 ?二 一 Cyt | 训 RR)，B 
二 (B,D? 是 私 初 值 的 可 料 增 过 程 ,BB 二 0, B+ 一 BB 二 7 一 
加 (4 到) 念 . 

本 一 SUP TO 一 0D) C2.56) 
因为 号 是 可 料 的 , 即 是 宅 ,- 可 测 的 ,天 此 

【天 0 一 人 一 全 (B= NROEFn 
琴 o 是 (人 ,J 停 时 。 

引 理 2. 44 oR a.s. 

证 明 首先 证 明 如 果 So 是 一 个 停止 规则 , 则 如 委 关 让 于 
-在 4 一 18> 时 上 ,mb 才 一 吾 ( 人 pH. 多 JJ ;因此 CysA opp | 这.) 二 
pylac 二 BO | FD 二 yn {pon 多 小 是 一 个 蒜 , 故 srs 一 序 e. 写 
y= 二 再 一 B 为 Doob 一 Meyer 分 解 ,由 于 8Aza 是 有 界 停 时 ,由 Doob 停 
止 定理 ,Bafsus 一 Bf 所 以 了 sh 一 5 一 0 而 康 必 闻 0, 故 Bn 二 
0, 这 表明 Y rn 所 以 SE gs 

+ 90 。 





VY na 一 1 2 人 令 3 一 Ana 风 由 上 面 所 证 ,S< 受 和 ,于 是 0 所 向， 
引 理 得 证 。 
令 “有 一 su fa 和 :及 一 坝 } 其 中 了 是 一 个 停止 规则 ,在 集合 
A 一 人 一 可} 上 令 关 一 pt | 
BB 
一 Js 一 加 (| 多 人 
= pnp BC+er | os) 
= Bri Ba, 
因此 4 上 
or=inf {nm, XC—y} 
=m 二 inf {hl1: X= pt:} 
二 区 十 inf 估 芝 上 :着 一 区 一 而 十 罗 (2, 57) 
Er=m ko . .C2. 88) 
其 中 ,of Ainf (F 守 1 一 yr} 天 sup 人 0 有 一 孚 中 是 相应 于 
CX 的 0 及 Ko. 因此 对 一 切 T 了 EF 
Tr Kr da. 8. 《2. 59) 
定理 2. 45 “假设 条 件 4 ,如 成 立 , 刚 
i ro 是 最 优 的 全 X=y a.s. 且 TK a.s.; 
ii Ks 是 最 大 的 最 优 广 义 规则 , 且 羽 一 症 其 中 二 是 最 大 可 取 的 
广义 规则 。 
证 明 i 必要 性 ,由 7 最 优 及 定理 2.23,8X,==V= B= 角 ,p 
闪 Sup EX. 一 EYEX. ,可知 X, 二 Y; a. s， 由 Doob 一 Meyer 分 解 


5 . 
信 二 肝 , 一 睫 , 
¥ a BM = BEM, EB = BB =0, Bn =0, 从 而 A nFKo,n 
任意 ,所 以 FE ws . 
充分 性 . 设 7EGO ,TK 有 HX 一 ya. s. 则 朵 TAn<Ko; 可 得 
Bn =0, 而 EWS= RM, PE By = Bo. 记 4=sup Xs MW) XB 


as。 Ol: 


| .多 :日 Pn) ,a 可 积 , 对 二 关 An 一 pas 实 0, 应 用 Fa- 
tou 引 理 得 
lm ra ran By Oo— y+) 


所 以 By: > i by 六 到 ( 一 7 而 另 一 方面 ， 由 定理 2 43, Ey. 一 
SUpEX< :By 一 VT 最 优 。 
各 》 当 8o<eo qs 时 ,由 (2. 58) 式 Kn, 一 Ko 二 Ko’ == Ke 十 sup 
{30:Bx0r 二 Br,} ,因为 84, 二 0, 且 Ko 是 使 得 如 二 0 的 最 大 的 i, 所 
以 Ko 一 0, 和 Ki 二 Koy 而 当 Ko 二 00 ,出 Kr 之 定 必 可 知 Kr 二 9， 
因此 Kx 二 Ko 
由 (2, 59) 式 ,在 Ko 之 oc 时 0g, 所 Rx 二 上 而 当 识 二 co0 时 ; 国 
为 i 二 og 二 00, 因 此 94, 守 Ko 由 on 之 定义 久 有 con, 之 Ky 所 以 ow 
二 os 从 而 Xs 一 一 一 Vs: 由 丫 即 知 Ko 是 最 优 的 广义 规则 ， 
从 而 它 也 是 最 大 的 最 优 规则 ,定理 2. 8 表明 Kv 是 可 取 的 ,因而 K。 
委 ?, 男 一 方面 定理 2 12 表明 + 是 最 优 的 ,因而 旋 Ko, 于 是 下 ,二 
mo 是 最 大 可 取 也 是 最 小 严格 半 最 优 的 广义 规则 。 证 毕 。 
注 11 用 十 分 直观 的 语言 来 说 ,最 小 最 优 停 时 就 是 能 停 则 停 
的 时 刻 , 而 最 大 最 优 停 时 就 是 不 能 再 继续 或 者 说 非 停 不 可 的 时 刻 ， 
这 从 “及 各 的 表达 可 以 看 出 ,特别 是 在 今后 的 引 理 2. 59 中 我 们 将 
证 Ko=inf {nl Bp) } 


$ 2.8 ”最 傣 信 时 的 叭 一 性 [22,23] 


最 优 停 时 若 存 在 是 否 唯 一 呢 ? 这 在 理论 与 实际 应 用 中 都 是 一 
个 值得 研究 的 问题 ,从 $2.1 及 2.7 的 讨论 ;我 们 看 到 当 条 件 4， 
4; 成 立时 一 个 停 时 * 为 最 优 当 且 当 X, = 一, 且 osr<SRi 因此 当 v 
三 Ko 或 者 VY rETc<rsAnX < 时 ,最 优 停 时 是 叭 一 的 。 
站 


[23J 研 究 了 这 一 问题 ,不 过 某 些 证 明 可 以 由 [20~22] 而 得 以 
简化 。 

定理 2. 46 ”车 可 积 序 询 {XX.,. 祈 .)? 的 值 r=o0, 且 存在 最 优 
的 广义 规则 itEC, 则 

让 当 PCLco) 守 9 时 ， 存在 无 穷 多 个 最 优 的 广义 规则 

ii) 最 优 的 广 久 规则 唯一 的 充 要 条 件 是 Y az 萃 ], 多 ,一 { 吕 ,也 上 

证 明 六 若 2G< cs) 盖 六 则 必 3 了 ?1 使 得 PC 一) 之 0， YY 
人 > 全 直 一 上 few 十 好 ws 则 易 见 PC 隆之 0,4EEC. 由 于 | 


— XEE|IX | + BIX | <eo , 帮 EBX, = EXIT i 
因此 存在 无 穷 多 个 最 优 的 广 闵 规则 。 
ii) 姻 最 优 的 广义 规则 唯一 , 则 由 说 知 t=oo0 a.s. 车 存在 %， 
使 4E . 字 ,, 0 之 P(A4)<1, 由 于 oo 一 BX 二 所 4Xw 十 型 Mege 两 老总 
有 一 个 为 co ,不 妨 设 BI4Xw==c0, 令 W=coli 二 elsc; 则 ED 县 P(t 
隆之 0,EXs 二 oo, 与 唯一 性 矛盾 。 
反之 ;如 多. 一 18, 妇 一 1,2 pp 则 YE 只 能 a.s, 取 常 
数值 ,但 对 任意 的 让, |BX | 之 co, 匣 必 !==o2 as 上 且 PRX 一 了 一 co ， 
所 以 最 优 停 时 唯一 。 
推论 2. 47 ”车 可 积 序列 {X, 史 ?的 值 了 一 co* 且 存在 最 优 
规则 , 册 必 有 无 穷 客 个 最 优 规则 。 
-下面 讨论 Y<ce 的 情形 ,对 一 1,2.… 及 ET7: 令 吃 一 [一 中 
NOG =ECpn | )) 
Go 二 Use. 
定理 2. 48 车 对 可 积 序 询 {X,Y ,对 每 个 n>1 ,EX 一， 
<so, 则 广义 最 优 规则 唯一 的 充 要 条 件 是 PCG,) 一 0. 
证 明 .必要 性 。 若 Pen 天 0, 则 必 存 在 六 1 使 P(9)>>0, 令 
t—olet Tore, 
- 93 - 


则 1E Ft 夫 0,, 由 引 理 2. 22, 并 注意 到 8. 上 ,0 1 之 4 十 1 
Bx = | Xt | Xo J .Xot | 
一 | x+ | 六 s 二 Xo 二 
这 表明 最 优 的 广义 规则 不 唯一 , 牙 盾 。 

充分 性 : 若 除 = 外 另 有 最 优 的 广 文 规则 忆 则 所 蕊 由 引 理 
2. 22 810 在 [| 多) 一 fo 而 公关 一 (rr) 亡 可, 故 忆 人 天 
DrD<sSP(GoJ 一 0, 即 = 一 上 a.s. 因此 广义 最 优 规则 是 唯一 的 。 

注 12 上述 定 理 在 44,4: 条 件 下 的 证 明 更 为 直观 ,车 BX。 一 VY 
<co, 刚 一 mo 是 瞧 一 最 优 宇 0 二 ,由 于 9 之 Ko 恒 成 立 , 因 此 
唯一 性 等 从 于 9 十 1 六 时 Bri 闫 0 守 X= 二 宇和 Byert| 玉 6.) 
os PB = 0, 

在 应 用 中 ,我 们 更 感 兴趣 于 最 优 规 则 的 礁 一 性 ， 

定理 2. 49 ”者 可 积 序列 {x., 多 ri 满足 条 件 4 , 且 存 在 最 优 
规则 , 则 它 为 唯一 的 充 要 和 条件 是 对 每 个 x 守 1,DEG 门 多, ,PCD)> 
0 有 PDN cs: 一 co)D>0 

证 明 ”必要 性 .由 订 件 知 = 是 最 优 规则 ,如 果 仓 在 某 个 az1， 
DEBNF.,P(D)>0, 使 得 PD 站 (0 一 0) 一 0, 令 t=glsc 十 
oldo; 则 Eto, 且 由 Pl 二 00)=PODN (0 1=00))=0, 可 
见 1€ ,如 定理 2. 48 所 证 Bt 一 ,与 唯一 性 矛盾 。 

充分 性 .假定 最 优 规则 不 唯一 , 则 有 ftE ct 天 满足 8Xt==r 
之 co. 因此 X=%, 且 存在 #1, 使 Po=#< 人 >0, 记 P=[or=x 声 

让 它 属于 站 站 多 .这 是 因为 号 Ce 一 站 和 门 (Cs =X,) 门人 
A 而 由 ad+l 的 定义 可 知 , 在 [i 上 ,oleeoo 故 pp [e+ 一 
o0)) 二 0, 逆 盾 。 | 

推论 2 50 . 若 可 积 序列 {X.,. 实 .JF 满足 条 件 41, 且 Xo 一 一 

oo, 则 最 优 规则 次 唯一 的 充 要 条 件 是 Po 一 三 (+ 多 四 一心 
* 灯 本 二 











证 明 由 二 一 2 ,可见 景 优 停 时 有 <0, 有 日 Y= BXe, < 
co, 由 定理 2.49 可 知 最 优 规则 唯一 的 充 要 条 性 是 ,VY a21,DEG, 门 
7 ,有 PCD) 二 0, 即 POX6=B(yoti| 祈 ,)) 一 0. 证 毕 。 

现在 讨论 去 掉 条 件 4 的 假设 之 后 的 唯一 性 问题 ,为 此 先 引进 
一 些 记 号 。 

Yt] DE ,考虑 可 积 序 到 和 训令 on (Di) ,yp 
COD FatDD CCD) ,Ca《) 分 别 表示 相应 于 序列 (0) 二 {imX,， 
的 O00pooF Cr 下 5 

引 理 2. 51 YY m2£ 

DD) pnt Di) FAs yas 

ii) fo om CD) = fp ons 

证 明 站 易 见 CD), 故 yDD 宇 lnp ,而 VY EC CD) 
仿 s 一 tio 十 mig.c; 则 8 € Cm His X=io X, 

patD.) pha | Cees 

esssupls, BCX, | a) =io.esssupE CX, |. 有) 一 了 orm 
iD oD =inf {zm Xp = pCD) }, 
=inf {zm: Xp, = plo,) -ho 
= ?9 

定理 2. 52 ”车 可 积 序列 {X， 多 ,jF 的 <ceo, 且 广义 最 优 规 
则 存在 ， 则 它 唯一 的 充 训 条件 是 Yt 宇 1,D.EG. 站 实 ,.P(D)>0, 
{ 区 和 半 ,在 已 本 (中 没有 广义 的 最 忧 规则 。 

-证 明 充分 性 . 根 设 广义 最 优 规则 不 叭 一 , 则 必 存 在 广义 的 最 
优 规则 上 及 某 个 at321, 使 得 Pi 一 四 >> 间 记 记 一 Ca 四 所 
门 久 ,及 令 s 二 (4 十 Dieew 十 toww; 则 易 知 s€E5i1(D.)。 由 引 理 
2.51 

本 了 全 一 五， 一 | gx gr,) 


.950 


一 je ee 


故 * 是 序列 (xs 多 pr 在 和 3 中 的 广义 最 优 规则 , 与 定理 的 
条 件 了 矛盾 。 

必要 性 ,车 存在 某 # 写 1,DEGNN 多 ,,P(D.)>0, 使 得 {Xito,， 
7 在 Cit ) 中 有 广义 最 优 规 则 ， 国 为 所 + 一 下 有 Pi<co， 
由 引 理 2. 51 及 引 理 2. 22 . 

VD By C0) = Ble mr Bp oo 
由 于 (CD) 在 世 (5D,) 中 存在 广义 最 优 规 则 , 故 wp 必 是 
CD) 中 广义 最 优 规则 , 且 
Bp Xe =E Xe CH) Fr) 
= = Lo etl (2, 60) 
今 s 一 mtd 十 caoes 则 sE RF ,so0, 由 (2. 607 式 
EX. = Xt BnX, 
= Bo pit Ene Xo Bo Xn Ba Xo ， 
= Bs Xt ElpeX,—= BXe=r 
# 也 是 1 受 ,的 广义 最 优 规则 ,与 唯一 性 矛盾 。 

注 13 和 定理 中 广义 最 优 规 间 换 为 时 优 规划 ， CIKD) 换 为 
Ze) ,定理 依然 成 立 。 

设 可 积 序列 { 人 ,8 罗 :时 ,如果 W ,了 F, 与 5(X 独 立 , 则 称 
(多 .ji 属于 独立 情形 ,这 里 4 一 co 或 一 个 固定 的 自然 数 w, 4 二 
co 的 情形 留 到 第 3 章 予 以 研究 ,如果 # 一 六 5 即 有 限 博 形 ) 那 么 由 后 
授 归 纳 法 窜 易 证 明 BG 灾 一 本 一 9 如果 令 Ka 一 四 一 
有 多 iv 于 是 (如 ,多 .7 满足 条 件 4, 且 区 一 一 ce 由 推 
论 2. 50, 便 知 最 优 规则 唯一 的 充 要 条 件 是 

PCo<n) 门 (一 Fo) 一 0 . C2.61) 

例 4 古典 秘书 问题 (第 一 标准 ?的 最 优 规则 是 唯一 的 ， | 

由 定理 1. 4 知道 ,这 里 cr 一 inffazr-: 久 一 1 ,而 > = 二 inf{r 守 1， 

6 。 





增加 ,而 rs 不 增 , 因 此 在 [> 六 ]E,(2.61) 自 然 成 立 ,所 以 只 
须 证 明 在 [o 二 r*] 上 ,X,… 去 7,. .,. 由 直接 计算 


VX > 


rt 


之 < 二 去 1 六 县 症 : 六 放 汪 二 国 为 所 一 区 (一 D) 在 (o<w) 王 严 
格 增 





下面 的 和 可 和 办 
命题 2. 53 ”调和 级 数 1 记 十 方 |… 的 任 一 发 节 ,= 2 
于 Ce>t> TD 不 可 能 取 骆 数值 。 


证 明 设 1<ks<a, 了 十 … 十 二 一 (( 正 整数 ) , 令 
m=sup {EN .KenLpt!} 
则 | 于 十 2 二 于 | Rl 《2. 62) 
下 四 





设 基 中 含有 :! 的 最 高 次 震 为 ", 即 





站 Ts 《2. 637 
其 中 9 不 能 整除 4, 则 
nl nl , nt nl att , 
Pe Rt Fe 二 二 (2. 64) 
对 一 切 4 天 如 ,hd<n, 如 字 一 gry 不 能 整除 £, 则 由 (2. 63) 式 得 
9 二 4 如 ce 之 7, 则 由 Yr 不 能 整除 4, 必 4 整除 rr-0 与 


《2.62) 式 于 盾 ,因此 o<r, 于 是 (2.64) 式 中 除 忆 -外 均 为 大 的 倍数 ， 
矛盾 由 此 可 见 二 十 有 二 -十 二 地 正 整 救 。 
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§ 2.9 Rasche 方法 


1979 年 A. ltle,Bayteuth 在 [24] 中 介绍 了 Rasene,M, 在 一 篇 技 
术 报 告 中 提出 的 求解 最 优 停止 的 算法 中 ,这 一 方法 具有 一 般 性 的 
意义 , 它 的 思想 来 源 于 动态 规划 中 Howard 策 栈 选 代 法 5 。 这 种 算 
法 的 收 敏 速 庆 是 很 快 的 ,因此 在 计算 最 优 停止 的 问题 中 十 分 有 效 ; 
1990 年 刘 册 杰 在 其 硕士 论文 2 中 研究 了 这 个 方法 的 实质 ,证 明了 
Rasche 方法 求 出 的 是 最 小 最 优 规 则 ,市 稍 加 收 改 后 又 可 求 得 最 大 . 
最 优 规则 ,村 节 讨 论 Rasche 方法 。 本 节 中 假定 {X ,多 .7 是 可 积 的 
随机 序列 ， 并 假定 下 述 的 4 条 件 成 立 
A =limsupX, 
-本 节 中 和 党 需要 的 另 一 个 主要 条 件 称 为 4 ; 即 ¥ 0 EE 了 ,0 和 gps 
二 ],2,--- 有 : 
BX on = lim BX,. 
注 14 在 水 条 件 下 ,4 .条件 屿 通常 的 4 夭 忻 , 即 supX,<o0 
兮 存在 可 积 的 随机 变量 ,使 Y x 宇 1,X, 所 EC4|. ,显然 条 件 扎 
文献 [中 性 条件, 即 EsupX+ 之 o> 
由 于 ft 多 7 是 可 积 序列 ,> 一 co 因此 在 到 各 1E 宁 1 
之 小 中 考 虚 最 优 规则 与 在 Cx 中 考虑 是 一 致 的 。 . 
下 面 引进 本 节 中 一 系列 记号 
MIF)= {B= em ,Bo =} 
EI={rET NY i, r=) Ch.} 
T(E)=inf{k nwt EB} 
TEERY = TOE) . 
对 任何 BE MC ) ,定义 两 种 集合 运算 * 与 0:Y <oo 
+ Oh. : 


Er = {BXp I TIEX TINE ,LSD 
Er* = (Ch Mee 
Er= {ECX, | 本 下 了 门 刁 ， 而 上 一 总 
Ee (EY) 
取 原 始 集 列 呈 = 本 一 (8).cw, 弟 推 地 定义 
C= Or ye* ,Gt (CH)D 
.= 但 全 ,二 ke 
羡 二 | 二 一 人 
已 一 (D,) 一 CD, 让 
引 理 2. 54 ”如 果 { XX 名 ,} 了 满足 条 件 4 , 刚 
limX, = 本 8。 
证 明 如 不 然 , 风 存 在 集合 4,P(4)>>0 及 在 4 上 ,limXs<cb< 


Xm ,定义 . . 
inf {hn 时 < 出 扩 因 
Ot) = 
inf {ER 
则 oto) 单 调 增 加 , 且 iimo, 一 
RA — EX die cmtat EXe dos eon EX ie = 
EI co Nat EXodio cons BXoo lis = 
注意 到 4 之 20),P(4)>0, 于 是 EX, 之 一 [4 十 EXolr 芝 EX ,从 
而 limnBxX。<<BXK- ,矛盾 。 
定理 2. 55(Rasche》 假设 As 条 件 成 立 , 则 
TCDD Amf {> 0 wmE D,} 
是 最 优 的 停止 规划 。 
证 明 分 四 步 证 明 。 
DD) 首先 中 BENWMCF) ,TE.F (到 ,定义 
T=int{nroE HET BE') (C2, 85} 
则 是 (洋人 和 停 时 , 往 证 BX.' 守 EX. 为 证 此 ， 对 任何 pE 到 (下 )， 念 


b= Pr. Se plonge (2. 86) 


99. 


显然 po 由 于 
[6 一 要 As CEANMECX cw | EK) NE, 
=Ea NN {ECX 0 | sn) Xn} 
因而 
| 入 一 | mss 和 | rats 
一 | Xp (C2. 67) 
故 下 对 2 EX, 1 {2.68) 
念 机 一 Ti 下 一 下 1 款 一 1 2 则 Tf 和 如 各 和 ., 且 每 个 Ti 
fr ,可 以 证 明 limre=7". .事实 上 , 当 T= 吕 时 .TT* 二 元 二 00; 而 当 7 所 
下 一 HT 时 ,oo 在 下 1) 坏 (0) 二 tNCB) 庄 1 十 ] 二 Tw) 十 1, 表 
明 (tw) 是 严格 递增 的 ,因此 Ct) 或 者 递增 到 某 一 个 届 后 ,Ta==To+， 
一 rr: 一 … 一 ,或 者 一 直 严格 递增 ,此 时 * 一 十 c ,总 之 lm 二 
fr 由 4 条 件 及 (2.68) 式 可 知 


一 limkX, EX (2.69) 
ii) Y SE ,定义 
S.C=ihf{n dw:) (C2, 70) 


S'—inf {rotE DD} 
则 8 一 人 ,因为 名 随 天 的 增加 而 单调 减 小 ,因此 Sr 这 ,于 是 由 
(2.70) 及 (2.65) 式 
St 二 inf {RS ET!} | 
~inf {nS OE Gt!} 
一 in 下 宝生 【GD } = 
从 而 由 (2.66) 式 
! EXo EX EX 
且 S$ 一 lim$,, 由 4 条 件 则 
EXs = lim BX RX, 


十 上 
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而 半 各 .多 《5 所 以 
sup{BX.: TEF (DD)}=sup{EX,:TE .FT } (2.7]1) 


iii) 现在 考虑 p,T€E (DD) ,pT, 令 


A 二 Ti 十 ZG 


p= rh, ) 十 之 CD) lore 
则 pppr; 且 limp= 六 对 任何 与 n,[p=n<r]CD, Com 一 
{ECX cow 1 和}, 因而 


| 省 ,一 | 站 | a mtn) 一 [ Xs 
p= ry [| 人 一 {p=a 


于 是 BX, 守 BX ,二 1,2, ,a> lim EX 一 BX, 定义 po =p, p= 
关于 是 Ki,3 Br 着 而 Pp! ,在 [p< 上 p+ 这 pi 十 
二 可见 lim 二 +, 从 而 
BX HimEX# = EXr | C2, 72) 
jv》 由 于 对 一 切 ?ECD) ,TCD 过 7T; 由 (02,72) 及 (C2.70) 式 
EXim—sup{EX, TE (D)}—~sup{BX,:TE.T} 
这 说 明 tt 让 是 最 优 规则 ,定理 得 证 。 
这 个 定理 告诉 我 们 一 种 最 优 停 止 的 计算 方法 或 程序 , 按 此 程 
序 我 们 得 计算 ,0 ,… 然 后 计算 ,如 果 到 某 一 步 上 = 11 二 
则 易 见 D2=G*, 因 此 在 什么 条 件 下 ,这 种 计算 步骤 可 以 在 有 限 步 截 
止 是 一 个 值 得 探讨 的 问题 ,许多 例子 如 下 面 的 例 5 表明 确实 计算 会 
在 有 限 步 截止 . | 
推论 2. 56 ”在 4: 条件 下 ,1 CD Ainf {fk 守 n;ywEDD) 是 字 ,(G) 
中 的 景 优 规 则 。 
证 明 的 方法 完全 可 仿照 定理 2. 55 的 证 明 。 
很 自然 的 一 个 问题 是 mw(D) 是 否 就 是 09,TCD) 是 否 就 是 0,? 
引 理 2. 57 在 4 条件 与 4; 条件 下 ,ECX, wry | 多 关于 是 
+ 101 。 





limECXs ey | 1) = BX) = ht 
证 明 对 任何 p€E 了 +i, 令 


Re 


p= 人 > Tm CO Lp me 二 ple- No 
1 


如 同 (2. 64) 的 证 明 ,Y 4E 史 ii 有 


| 其 多 | 三 
. A A 
所 以 代替 (2. 68) 式 ,我 们 有 
BCX; | EK | ) (2.73) 
考虑 5 本 ,做 停 时 列 而 二 ,二 一 证 ,于 是 mn 一色 
inf {nT;@EG ;由 (2.70} 式 及 Fatou 引 理 
ECX | Slim ECX. | .1) 
SE( im XE EX | 多 ) 
由 于 (G+ 二 (GO) ,可 见 (Xi oo | 字 41) 随 4 而 单调 不 减 ， 
又 因为 ae)? 随 * 单调 不 减 并 赵 于 人 D)，, 而 对 充分 大 的 二 加 
CK et) | ) EX | 了) 和 pe ,最 后 的 式 子 是 册 TD 的 
最 优 性 得 出 的 ,所 以 由 和 条件 BX 一 EX, 于 是 - 
lim BCX ior) | 守 ,)=BCX) | 这 = {2.74) 
定理 2. 58 在 4 条 件 下 4: 条件 下 :+-1 (D0) =inf {fk 这 #1 一 
xX}. | 
证 明 从 (2.74) 式 及 单调 收 伊 定理 , 易 知 
lim BOX ey a) = Bp ] .多 
由 于 如 一 只, 一 1,2, ,由 归纳 法 可 证 
Ol BX en | XN, 天 22 站 
从 而 | 


DlimGt— {Bn lS YEN) {Xo} 
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所 以 
TD SiNf {En at DD.} 
二 inf {hn 二 坟 } 一 | 证 毕 
注 15 由 本 定理 可 见 wtD) 就 是 在 4 与 必 条 件 下 的 最 小 最 优 
规则 ,参照 定理 2. 23 说 明 在 4 与 必 ,4 之 下 存在 着 最 优 的 规则 。 
下 面 将 证 明 nm( 妨 是 最 大 的 最 优 规 则 。 
引 理 2. 59 在 4 条 件 下 ,最 大 的 最 优 停 时 
Ko=inflna; BECP | ) XX,} 
证 明 注意 到 注 14, 定 理 2, 45 中 条 件 41,4; 是 成 立 的 ,因此 Ko 
是 最 太 最 优 停 时 ,由 于 Ko 一 suptn 这 0, 上 二 0} , 丽 由 Doob-Meyer 分 





解 定理 ,如 一 和 [hw-B(y4s|. 多 J], 所 以 由 Ko 的 定义 Bs, 二 0,Bso+ 
疡 0, 它 等 价 于 久 = 训 Gyr]: 实 让 ,对 一 切 1 坟 KR 一 1 而 yx 守 贡 
{pot! 1,) ;因而 
Foo=infin lp Bp } 
=inf (ne1: XB | 7.)} 证 毕 

注意 到 。 运 算 与 * 运算 的 区 别 , 仿 照 定理 2. 55, 推 论 2. 56. 引 
理 2. 57 ,我 们 可 以 证 明 | 

定理 2. 60 在 4: 条件 下 ,rT(D).ainf{k>0;,oE 各 ) 是 最 优 规则 ， 
mi( 态 是 ,中 的 最 优 规则 且 CXiew | 你. 关于 8 单调 不 减 ， 
Y #1 

lim BCX. 0 = BX | ot 


证 明 请 读者 补足 。 

如 果 在 计算 六 时 ,存在 某 自然 数 包 使 得 名 一 名 一 …, 则 3 一 
从 ,于 是 (6) 二 T,( 六 于 是 BCX 6805 | 到 一 pe 记 一 全 - 一 人 
CX | = 因此 

t(D) =—r(H) =inf (n> 0, sr), < 一 再 
所 以 我 们 有 
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命题 2. 61 设 4 与 未 条 件 成 立 , 且 存在 基 自 然 数 使 六 = 部， 
由 re(2 是 最 太 最 优 停 止 规则 。 

定理 2.62 在 4 与 4 条 件 下 ,所 有 最 优 规则 都 属于 :> FD), 

证 明 4 条 件 保 证 了 【<c ,由 定理 2. 23 知 如 果 上 是 最 优 规 

则 : 则 和 一 # 因 此 下 一 个 安 ( 人 六 放 ) 王 (有 C609: 实 ) 守 ,二 
全 ,这 里 上 是 任意 的 ,于 是 。 

Li=: CNG=D 
二 省 (D) ,定理 得 证 。 

这 个 定理 表明 ,在 省 条 件 下 ,定理 2. 12 中 所 措 述 的 量 优 规则 
集合 就 是 了 (D) ,Rasche 方法 的 实质 就 是 在 4; 条 忻 下 提供 一 个 计 
算 o 与 玉 : 的 计算 程序 。 | 

例 5 ”候选 妖 娘 的 个 数 为 随机 时 的 秘书 问题 ,现在 假定 前 来 应 
选 秘书 的 姑娘 的 个 数 * 为 一 个 随机 数 ， PNT 





D 2 并且 定义- 一 个 收益 函数 
1", 下 一 1 
用， 31 
其 中 心 才 示 应 多 站 娘 的 个 数 性 表示 所 选 站 女 的 绝对 名 次 , 令 9 一 


局 .8. 是 1,2，' ,全 体 排列 ,多 一 品 的 一 切 子 集 , 当 o€ 2, 时 


gD) 





定义 p(wi) 一 全 ， 对 o 一 (oo yooES 令 Na) 一 ma 第 "个 
姑娘 的 绝对 名 次 为 如 :相对 名 议 鸭 这 二 oC yy) 当 Rm 
时 认定 妨 = 加 二 十 o0， 
考虑 报酬 函数 
着 一 下 (和 (下 ]|. 罗 ) 一 由 忆 ( 人 一 1|. 妥 ,) . 
容易 证 明 蕊 一 ze 人 纺 一 ]| 基 )， 吾 
Pb,=1|y.1) 


= P=1,N=mly=1) 
sa 104，。 





POTIN=mPN=m /P= 1) 
pa, 


PLN 
Sn ;于 是 革 , 二 


而 Pg = 1)= P=1|N=m) P(N =m) = 
Fy 和 号 rw- ,如果 PCN 之 直 一 0, 则 认定 头 二 0 

由 于 对 任何 停 时 os 2 一 supc,， Xn 一 or 上 且 1X | 所 1, 是 一 致 可 
积 的 ,因此 EBX。 一 BX 条件 息 是 满足 的 。 - 

令 所 一 0, 则 有 im 入 一 X ,事实 上 LVY oc 纪 , 当 >m 时 涵 一 
十 se 所 以 和 0: 条 件 42' 满足 , 忆 此 可 应 用 本 节 的 定理 2. 55 -站 


8$ 2. 10 带 约 末 的 最 优 停止 


在 实际 应 用 中 往往 不 允许 停止 规则 了 过 大 ,也 就 是 需要 考虑 
在 约 东 条 件 本 二 a 下 1; 求 某 一 报酬 序列 CX,) 的 最 优 停 时 间 题 , 即 所 
谓 约 束 的 最 优 停 止 问题 ,比如 在 统计 试验 中 ,如 果 用 x, 表示 第 ， 
次 试验 后 所 作 统 计 判 断 的 风险 ,每 次 试验 费用 为 c, 原 则 上 我 们 可 
以 解 
Inf EX Xe 一 0 
的 问题 ,但 实际 上 ,试验 的 风险 与 试验 的 费用 很 难 在 同一 量 纲 上 比 
较 大 小 ,总 十 om 的 表达 是 难以 实现 的 ,这 时 我 们 可 以 考虑 在 试验 总 
次 数 订 二 a 的 限制 下 求 inf #Xs 的 解 , 在 这 个 专题 上 可 参考 文献 
F27 一 30]。 

设 58, 多 ,有 2 是 一 个 福 率 空间 , (名.)% 仍 是 一 各 上 升 子 o 代 
数列 , 除 考虑 适应 的 报酬 函数 列 CX,),es 外 , 男 设 (Y,),ey 也 是 一 个 
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适应 的 序列 。 
记 8 {tE 宛 :EXr<oo ,Br<cojse 是 给 定 的 实数 ,考虑 
fMaxmjzezXt {2.75} 


(py 全 瑟 
la Erea (2. 76) 
并 称 为 是 带 约束 条 件 的 最 优 停止 问题 ,其 中 C2.7 多 称 为 约 东 条 件 ， 
大 有 在 E48, 使 得 EY, 所 a, 且 BX 一 ,sup 2， 则 称 # 为 问题 全 ) 


的 = 最 优 解 ,又 记 
下 一 PestE 作 旦 下 rcoj 
. C= {ntE TF BH BXr <oo); 
设 Co) 守 ,为 一 到 实数 ,一 ayY 二 1,2,…, 令 
一 人 nt 有 有 有 to 
esssup 再 (| 天 
IE 
esssup BLXL ZY,); 
“性 包 
人 一 sup B(~YE); 
民 过 


i=supEXt; 
上 E 吕 


用 一 Sup 六 Xi 
本 节 假 定 两 个 适应 数列 的 值 几 ,是 有 限 的 实数 。 


令 


Pe) —sup {EXr :TED 且 二 过} {2. 77) 
则 py) 单调 增加 , 记 | 
Do={TECH 而 、 


为 了 解 问题 (2) ,我 们 引入 罚 函 数 
0， TED, | 
站 《2 一 2, 78) 
|—co, 人 ?在 Ds 
:于 是 解 问题 (8), 就 化 为 求解 


sup ECXri607')) 
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取 5 人 2 一 int 让 9g 一 也 z), 则 它 满足 (2.78), 有 是 
ET 


一 ca， 了 TED, 
ECX Er pis, PED. 
国 此 P60 一 sb 及 Xr 
一 Sup infC&Xr 十 Ma 一 ABYr) 
TE 2 
inf sopL EX — AC EY 0) A A po) 


记 fC) =supL BXr — ACEY, > 一 的 . 它 作 为 4 的 函数 是 四 5 即 下 凸 ) 
《Psinf fe) 
0 
为 (的 的 对 倘 问 题 ; 并 称 
LTA= biAr— iE O— 0) 
为 (P} 的 lagrange 明 数 。 
定义 2.7 设 是 定义 在 中 上 广义 实 值 函 数 , 则 称 
9” 《2) 一 iD 人 fo 一 引入 7 
为 了 的 叫 共 亏 菌 数 。 eq 
引 理 2 .63 #(@m=y (0) Y a0 成 立 
证 明 六 cc 
f=sup (EX ABYr + he) 
一 sup sup (EXr— ABY; ha) 
PP OTECHY ER 
sup tp(P) ap ia) 
— in Cp-w(p) ) 
一 和 it (OD 
另 一 方面 ,由 了 EXKr<so( 三 7), 折 以 
fsup( Pp BY) — 4BYr ha) 
| sup (PP) — A8 + ha) 
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= inf (4p— pp)) 
Aa—m" (A) 
内 而 疡 (和 一 ia 一 ”于 是 
¥a) =inf f=—inf (hr—p* (00) 一 多 * (0) 
引 理 2. 64 问题 (4P? 的 值 了 一 p(e), 且 了 ED 为 (P) 的 解 当量 
仅 当 . 
inf LO ,A) = ote) C2. 79) 
证 明 Ep 为 (P) 的 解 ; 风 如; 过 o, 于 是 (7*)=0 
| Br SsXr sup nn inf (EX — ABYr Ar) = pia) 
EXr" =RXr': 二 oT* a 一 38Y7 十 ha) 
一 in ， 
所 以 ,7* ED, 为 (P) 的 解 的 充 要 条 件 是 (2. 79) 式 成 立 。 
如 果 存 在 入 产 0, 使 得 对 侦 问 题 的 值 达 到 wp(a) ,也 即 sup LAT, 
站 二 pC), 则 称 %' 为 lagrange 线 子 , 当 然 lagrange 乘 子 必定 是 对 
个 问题 (1 ) 的 解 
定理 2. 65 TT* EB8 是 问题 (PP} 的 解 且 7' 宇 0 为 (P) 的 lagtange 
乘 子 的 充 要 条 件 是 :对 任意 的 了 ET 及 42>0, 成 立 
LO A EL SS (C2. 80) 
证 明 ”必要 性 ,如 果 了 2' 是 (CP) 的 解 ,4* 是 lagrange 赤子 , 则 
go] —sup LOT, 2 ) =inf LP 和, 于 是 LCT ,1° >inf LOT ,) 
二 gD) 社 L(T? A7), 所 以 
LTA IED A ELOT' A) 
充分 性 , 设 C2.80) 式 成 立 , 则 
Pa) sup LTA ELCOT" A’ ) sinf LOT* AE ga) 
而 pC) 所) 总 是 成 立 的 ' 所 以 上 式 其 实 是 等 式 , 从 而 inf4C7*， 
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2 一 oa 可见 7 是 (5 的 解 , 而 supZ(Z, 2) 一 fa， 可见 是 


lagrange 乘 子 ， 
推论 2. 66 ”条件 (2. 80) 与 下 面 的 条 件 等 价 


sup LOT A )=L(CT* ,h*) (2, 81) 
TER 

A CEYr 一 四 一 0 《2. 82) 
Brrr —ascb : C2, 83) 


证 明 3 由 (2.813,507 DEC ,hr), 另 一 方面 上 
(PT? 4 = BX EEX — HEY a) =L(T* ,N); 

:首先 supL(T,4" )SLCT* ,4"), 再 由 (2. 80) 式 ,LL(7" ,和 ) 
inf LCP Asup inf LT, A) sup LOP ,A ). 因此 sup 上 (人 一 
LP* ,此 外 ,由 定理 2. 85 ,了 "是 (5 的 解 , 所 以 52. 83) 成 立 , 且 

EXr* — A ECYr: —m) int [EX 一 j 酝 (了 一 的 ] 一 及 Kr， 

所 以 (2. 82) 式 成 立 。 

由 此 推论 可 得 求解 (P) 的 一 般 方法 ;对 任意 的 ?六 0, 求 supk 
(了 T,4) 的 问题 , 设 其 解 为 (AY ,然后 求 2 ,使 EYriw < 且 ACEY70,C— 
中 二 0, 它 的 解 ** 所 相应 的 TCG ) 就 是 (P) 的 解 。 

但 是 求解 supL( 了 ,和 ) 的 间 题 要 化 成 真正 的 无 约束 条 件 的 最 优 
停止 问题 ,还 必须 将 8 用 

一 信人 有一 种 ce) 
来 代替 。 | 
定理 2: 867 设 % 六 0 一 1,.2, ,如 对 基 个 Rs supB (Xpt) 
一 ce , 则 对 一 切 ?320, 有 及 一 中 特别 地 | 
SupBCXs Ay) —supE (Xe Ng), {2.84) 

证 明 由 于 BCX 一 40)- 太 BXT 二 Beco: 故 BE 及 是 明显 
的 } 上 反之 ,如 5S€BCB,, 则 

: TAX Me) sup R(X -pr) oo 
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于 是 Ke 一 A7s ,Xs 一 ppYs 可 积 , 胡 Ys 可 积 ,又 EX5 人 BXs 一 ys) 二 
cos 厂 SEB, 从 而 B= 8. | 

前 一 段 , 我 们 异 助 于 规划 论 的 轧 想 ,构造 Lagrange 函数 来 求解 
约 东 最 优 停止 问题 , 另 一 个 很 自然 的 想法 是 在 成 中 定义 吕 , 希 望 
约束 条 件 下 的 Snall 包 也 能 发 挥 类 似 于 的 作用 ,但 遗憾 的 是 
〔 太 ) 并 不 具有 (mr 类似 的 性 质 ,其 主要 原因 是 也 与 通常 的 忆 不 
同 , 对 上 端 运 算 不 封闭 ,也 即 当 tt Dn 时 ,VY tt 不 一 定 必 于 疡 ， 
虽然 如 此 ,我 们 还 能 得 到 一 些 好 的 结果 。 

现在 讨论 有 限 情形 ,此 时 考虑 {XN<o0， 补充 定 
导 Byri 一 记 , 取 2 二 十 避 ， te 一 上 一 一 2 md, 

引 理 2. 68 车 *< 之 他 迄 co， 1 为 {一 如 ,Fj 和 :的 最 优 规则 ， 则 
VY 4E Ft! 也 是 {一 gy: 实 ,} 共 ,的 最 优 规 则 。 | 

证 明 如 不 然 , 则 存在 停止 规则 s€ ,> 8( 一 Wi) -过 
oo0; 使 得 一 本 呈 世 一 一 14; 令 =sls 十 tne;y 则 4ES ,tb, 且 
召 ( 久 )<co ,但 是 

EC—y} = — Ey Boydac> — By = 

下 盾 。 | 

引 理 2. 69 Yn<N,LE DD, 存在 LED4i, 使 得 在 [>#] 上 一 


证 明 “ 念 吕 六 分 别 为 (一 图 ,更 ,一 入， 及 让 访 ， 的 最 优 规 
则 , 令 seen [docos 则 易 知 六 1 Eo, 
故 EO41, 且 有 
Bl—y) = Bt— ys ot yn 
EC—y) EC yy Es) 


=Vii 二 Bye lew Bey (C2. 85) 
人 往 证 i 
By oasn — Eys dor ee (2, 86) 
如 其 不 然 , 存 在 9>>0, 使 得 
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By — Eys, lus 二 # 十 5 
令 站 二 fos 十 Solaxn; 则 这 ,由 引 理 2. 68 得 
:二 Ey. 
Bye 
=e— Bylo — Ey own 
Ee Ey to =n 一 Ey, dm) 一 a 六 
. 一 一 前 —H< p(n ) 
这 与 上 的 定义 政 盾 ,从 而 (2. 86) 式 成 立 , 再 由 (2. 85) 式 ,EE( 一 yr ) 
六 一 8 二 一 +i 所 忆 EEDr. 
引 理 2. 70 ”对 每 一 个 a=1,2*…,N 
PX YY E(tri|F,) (C2. 87) 
证 明 n==N 时 结论 显然 成 立 :考虑 TI 安 a< ,由 引 理 2.69,VY 
ED ,存在 Ht ED.+,, 使 得 在 (>a) 上 =t, 故 对 任意 的 4E 多 ， 


f= J xt fn 
1 AN tmxy A 


< | 议 , 十 | p+. 
A =} 4 站 


< [LAE 
由 4 的 尾音 性 及 iE Dx 的 任意 性 ,得 
AX VECR+ ||.) 

定理 2. 71 在 有 限 情形 下 , 令 =inf {这 1 XB(fir | 
= 112,-… ,NN, 则 

) ECXn, | BP, no 1,2 ,NN;} 

iD 当 吉 EB 时 ,是 带 约 束 问 题 的 最 优 规则 。 

证 明 ) 当 ==N 时 ,结论 显然 成 立 , 假 设 对 入 ,入 一 1,-…4n 十 
1, 结 论 已 成 立 , 往 证 1 的 情形 。 

Y 4E. 多 ,有 








| <= | x 二 | x 
A AN GE | AN CX EBA “二 
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Se | 这, 十 | tl 
A [E19 AN CX SEE ||) 


= | > V Bb |.F) 


> | .4 
因此 .由 4 的 任意 性 ,得 ECX |]. 祈 ,) 守 局 . 
i 当 韦 ED, 时 ,由 (},¥ ED. 有 
BCX | ECX | ). 
故 EX, 之 8X4; 而 高 ,二 和 ,所 以 ,是 最 优 。 
引 理 2. 69 在 有 限 情形 中 起 着 重要 的 作用 ,但 在 无 限 情形 下 ,不 
再 有 柱 诬 的 结论 ,如 设 只 = [0,1]. 多 一 沁 50,11, 忆 为 [0,1] 上 


lebesgue 测度 ,4 一 [0 于 ] ,有 一 [0 天 一 一 0 区 一 一 (1 一 工 ) 人 oa 





一 2 3, 5. 一 ao ,加 2 经 简单 的 计算 可 知 ， ,一 玛 一 王 , 令 


二 臣 ,e 一 一 访 , 取 ti 一 1 1 十 2.7c 则 呈 人 (一 一 疡 (4 一 人 1 


一 二 Ca 一 一 感 ,所 以 tE 访 ,但 对 于 任何 六 2, 在 ct>1 上 ， 


如 有 了 一 纪 则 
和 
__l 一 也 7 
= 一 区 P(B) 二 > 15 
与 ?GE 思 矛 盾 (此 时 一 十 一 2 
为 此 需要 修改 的 定义 。 
令 ze 二 后 十, 取 马帮 + (zs 一 5 ,其 中 2 和 一 
Drm {tEC!, By nr} 
引 理 2, 72 ”对 任 音 的 1€ 隐 ,存在 YEB4, 使 得 在 Cx) 上 ,rt 
二 上 其 中 并 人 
证 明 由 37! 的 定 疼 ,在 在 EOL;, 使 - 
-11l2， 


—bys Yt (2. 88) 


令 = So iusstt) ,出 去 生命, 且 
一 Ean 一 一 Eys, {ues 一 Ey cra 
和 一 yn， — Eyrd (ray + Bys,! tray 


Fs Byles 二 sles 《2. 89) 
往 证 
Eys lor — By (2. 90) 
如 其 不 然 , 则 存在 人 > 0, 使 
Bys, ton — Brdew = 6 (2. 91} 


对 任意 的 各 安 ., 记 国人 4 为 (一 六 护 ) 中 ， 的 值 ， 取 ti 使 一 Ey Tem 2 
Pro 一 的 及 是 充分 小 的 正 数 。 令 


* = Sol ur 
则 
人 雪 一 玖 5 十 六 
一 一 上 本 一 是 十 - 
A — Fy fa=w 十 加 一 了 es 十 所 
一 一 Fy Ta=s) 十 六 — Eys,d ws) 一 此 
= 一 Ey 二 5 | 
取 纪 充分 小 可 使 


PC By OC 
牙 盾 ,所 以 (2.90) 成 立 .再 由 (2, 89) 式 


1 Br 1 上 ， 
一 


可 见 FE Dp. 
推论 2. 73 设 4<<m, 则 对 任意 的 弘 必 ,存在 ED, 使 得 在 [t 
mm | 上 ,t=t. 
证 明 对 于 m=# 十 1 ,就 是 引 理 2.72, 如 果 对 mr 一 n 十 k 一 1, 存 
"113+ 








在 ti€E Ds 1 使 当 1 宇 n 十 k 一 1 时 ,4_1 二 t 考虑 w==n 十 6 的 情形 ， 
由 于 1D44-1; 由 引 理 2.72, 存 在 4EDris 使 当 1 这 nk 时 ,二 
二 0 而 Ua 十 人 全 Ga 一 1 一 1), 故 在 Cw 十 人 上 有 二 :二 tf- 

由 引 理 2. 70 的 证 明 可 以 看 出 , (2. 87) 式 对 无 限 情形 也 是 成 立 

的 ， 
引 理 2.74 车 iE Di, 则 对 每 个 # 二 2,3,…… 
) 在 U 守 上 ,有 BCX | 让 各 
i 在 (E>) 上 ,BK | 这 B(C87| 袍 ,Y. 
证 明 放 由 推论 2.73 可 得 ; 

ii 由 让 ,可 取 如 ED.41, 使 在 [>#j 上 ,#' 二 4, 且 
BCX N= EK | tl 
再 由 Jensen 不 等 式 , 知 在 (>n) 上 
ECXr [FOIEECECX | Tr | 
. . EC 1,) 
引 理 2. 75 车 sy!EED, 且 对 一 切 #, 有 
[EOX NPY)PXs Sa 
BEX | < S—n tn 

则 性 有 EX, 守 EX. . - 

证 明 参见 定理 2. 8&。 . 

最 后 我 们 给 出 本 节 的 主要 定理 , 记 

n=inf {fier XE CAL | } 

定理 2.76 涪 若 元 En, 且 可 取 ;, 则 + 为 a 最 优 规 则 ; 

i) 车 问题 CP) 存在 a 最 优 舰 则 ,和 且 加 实 ,上 且 矶 , 委 w 则 也 
是 问题 (5) 的 最 优 规 则 。 

证 明 iD 由 民 的 可 取 性 ,在 Ct 半 站 上 ,ECX | 久 )) 守 守 ,j 二 1， 
2,-… 再 由 引 理 2. 74,Y 1€DD ;在 Ci 站 上 ECX | 训 ) 和 Bj,j 二 112， 
i! 玫 在 (= 二 j,t 宇 上 ;有 

下 其 | EBX YY EE |),) = X; 
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由 引 理 2. 75, 便 知 BX, 渤 8X4; 故 是 a 最 优 。 
i 站) 由 刀 实 志 


| 右 = 二 它 Xr 
Cr = t= i ty) 


[ ,, ,大 十 之 ， | Bfeel | 1) 


《Ti tt 


< | 一 上 + 它 |. bs} ,CX | 

= HX oo, 
其 中 最 后 第 二 个 不 等 式 用 到 了 引 理 2. 74. 从 而 ED, 类 似 地 可 证 
BX 33 所 以 一 也 是 “最 优 停止 规则 。 


$2.11 多 目标 景 优 停 上 一 多数 原则 


从 应 用 的 观点 来 看 ,考虑 报酬 函数 是 一 个 向 量 过 程 (如 ， 附 ， 
…,X0D7 是 更 有 意义 的 ,即使 是 古典 的 秘书 问题 , 当 我 们 考察 每 一 
个 应 聘 者 时 ,我 们 观察 到 也 是 个 向 量 过 程 ,比如 兴 表 示 她 的 表达 
能 力 ,对 表示 她 的 知识 面 ,X! 表示 她 的 应 变 能 力 等 等 .于 是 我 们 
面临 的 将 是 对 P 个 目标 的 最 优选 取 , 这 个 问题 也 可 以 陈述 成 有 PP 
个 人 参加 的 博 奕 问题 ,文章 [68~70 忠 中 提出 了 所 谓 多 数 的 原则 ,也 
就 是 假定 每 个 博 奕 者 都 可 要 求 停止 在 任何 一 时 刻 , 而 观察 的 真正 
停止 时 刻 是 在 有 7( 志 四 个 人 去 求 停 止 的 时 刻 。 

记 半 .二 CX! Xi XL) 是 报 柄 向 量 ,0,== CO C2.… C0)7 是 费用 
向 基 。 . 

如 果 $ 个 局 中 人 组 成 的 观察 值 决定 停止 在 第 + 步 , 则 每 个 局 
中 人 ie<S2) ,得 到 的 报酬 是 交 , 他 的 费用 为 芷 ,因此 他 的 纯 收 
人 为 中 一 名 
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我 们 约定 ,i) 每 个 局 中 人 都 可 要 求 在 任何 时 刻 停 目 观察 过 程 ; 
让 决策 开始 前 ,由 全 体 局 中 人 公认 一 个 多 数 水 平 r(1 志 ?起 7) ;证 》 
一 旦 在 某 时 刻 要 求 停止 的 人 数 之 7, 则 过 程 就 停止 。 
令 久 , 二 0(X) 克基 
1 局 中 人 i 要 求 停止 
~ lo, 否则 
且 假 定 0; 只 依赖 于 当前 的 观察 值 x,, 即 0; 是 eX,) 可 测 的 。 
定义 2.8 对 每 个 必 1&i 和 Ep) ,随机 变量 序列 一 (Cei 路 …) 称 
为 主 的 个 体 停 止 策略 , 记 为 1SS. 
以 莒 表示 局 中 人 i 的 ISS 的 全 体 。 
定义 2.9 称 * 一 (人 9 or)” 为 停止 策略 . 记 为 55, 它 的 全 体 
记 为 8， 
定 浆 2. 10 对 固定 的 数 "1<r<p)， ¥ oES, 称 





to 二 inft np 1 .Dar (2. 92) 


为 由 停止 策略 产生 的 停 时 。 
定 尺 2. 11 一 个 停止 策 覆 "= 一 (oo 和 op 称 为 是 平 
衡 的 停 正 策略 ,如 果 Y ES, 有 
Boy SB), i=1,2, sp (2. 93] 
其 中 ef 有 一 人 DT 一 
1,2，. | 
从 定义 看 出 ,对 于 平衡 的 停止 策略 ,不 存在 另外 的 个 体 策 略 ， 
在 其 它 人 不 改变 他 们 的 1Ss 的 条 件 下 ,使 每 个 局 中 人 得 到 更 大 的 
收益 。 
下 面 设 区 i120 pon 二 1,2,… 是 一 列 常数 , 今 
jj XX 一 以， 如 果 有 不 少 于 > 个 人 在 第 * 步 要 求 停止 
”一 所 。 否则 
(C2. 94) 
“116. 


记 上 如 Ex 为 局 中 人 守 的 停止 事件 ,事件 站) 是 !(，… 本“， 

全 用 } 中 恰好 有 7 个 发 生 的 事件 ;世人 7) 一 局 g 0), 于 是 过 程 

关于 术 ,… :上 骨 在 * 时 刻 停 止 的 事件 
B= DU NG i=l,2,p (2.95) 
引 理 2. 77 对 任意 固定 的 ,A144 


max Bo (Xi—O) FPO) Ci—0:) C2. 96) 
EX 
在 上 生 ={ 澡 污 t} 上 达到 ,有 即 
Ep (XCFPOB I Co — C0 (2. 97) 
其 中 
BCX RIP tr 1) |X:) 
+ BCCOR— PO tr) | XD Ts C2, 98) 
Ea tA Bat 


证 明 由 于 Bs CX 一 C0) 十 PCBOD (8 一 3) 二 高 《 一 太 ) 十 共 一 


B, = gr m1 UG UA NN Gr)) 
= 一) Ur) 
内 而 
Es (Ki—CITPCBI CO) 
ECCX — ts Nese — CX 
ELC — utp(gitr— 1) | XD 
+ ECCOXE 2) Pn) {XDI 
一 光一 避 
上 式 取 等 号 , 当 和 且 仪 当 竺 一 { 守 庆 ,证 毕 。 
上 式 站 边 就 是 局 中 作 i 的 纯 收 入 ,由 上 述 引 理 可 见 , 局 中 人 ?i 
浆 了 得 到 最 大 的 收益 ,必须 在 [光宇 sj 时 请 求 停 赴 , 这 个 事件 与 其 
它 决 策 者 的 停 阔 事 件 是 独立 的 。 
现在 讨论 有 限 水 平 问题 , 即 假定 观察 的 最 天 次 数 为 内, 并 设 
»- 11i7* 





iD 的 二 31 2 ,7; 扼 观察 到 第 N 步 必 须 停 目 ; 
ii) 报酬 过 程 XX,… ,是 相互 独立 的 随机 的 量 , 且 Y i， 
BIX: < oo; . 
ij》 疯 察 费 用 CC 二 eryi 二 1.2,…, 氏 , 其 中 c={c,ei,trr,c?)? 是 
常数 向 量 。 
限于 考虑 由 停止 策略 产生 的 停 时 ,我 们 记 这 种 停 时 全 体 为 
7 "', 记 
PEF, 
k 


轩 此 ,2. 94 中 基 一 此 应 该 竺 于 841i; 也 即 或 = 十 二 41 
十 富生 在 引 理 2. 77 中 的 六 一 所 就 是 局 ,从 而 由 (2. 98) 式 ,有 
=ECCOX on Vn)t | plgCr— 1) 1 Xi) 
+ ELON en Vr ) POG) | A 
nN— 1 (2. 99) 
= EX —o | 《2. 100) 
而 且 对 于 局 中 人 i 的 最 优 的 个 体 策略 "0 二 (oi' 5…- “0%) 诺 该 为 


m=] oni 


.0 下风 (2. 101) ， 
定理 2.78 .由 全 体 最 优 的 ISS" 0 和 构成 的 策略 "0 二 C(* 0 ,* 07， 
…，, "0 ”是 一 个 平衡 的 策略 , 且 
bE{Yaern)=F. (2. 102) 


证 明 记 本 ==1(* 0) ,为 方便 计 , 设 后 = 二"…= 二 ==c; 用 归纳 法 可 
以 证 明 . 
BOY | 十 1 一 1 《2. 103) 

事实 上 , 当 # 二 NN 一 1 时 , (2.103) 显 然 成 立 ; 假 设 上 式 对 N 一 1, NN 一 
2,-… ,十 1 成 立 , 往 证 * 之 情形 ,为 此 记 各 ={o: 守 一 cn 这 V1}, 忆 
由 (2.95) 式 定义 ,那么 
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可 (| Sr) 
一 四 (3 TY i | ni) 
= bs (FI) ELBE | 2 
— Es (CX:—cn)— POPYEC |t" n+ 1) 
= Es CXi—en) — PBS (由 归纳 假设 ) 
= CXien) + PCEY CV LH cn—en) (2. 104) 
出 引 理 2. 77, 取 那里 的 六 二 Fj 十 4;y 则 由 但. 104) 式 
kere | En) 
R(XI—cen—br)t Per — 1)|X:) 
+ ECCOX—en— Vi dP(G (tr) | Xa + Vr 
一 上 
最 后 一 个 等 式 由 (2. 99) 得 出 ,前 一 个 等 式 是 由 于 取 心 一 (多 一 cx 
+ 之 故 , 于 是 (2. 103) 式 获 证 。 
为 了 证 明 *v 是 一 个 平衡 的 策略 ,只 须 对 每 个 i 比如 取 ;一 1， 
来 验证 {2.93) 式 。 - 
对 任意 的 个 体 策略 c!= Col,… ,ok), 记 
ar 扫 一 【alert 
vin= "0 =("ol,"0ol, "oh) 
gin!=o! 
1{a}—ito,; ) 
我 们 只 要 证 :Y 中 区 1 委 z 委 六 ,有 
加 (AS 可 人 ri) 《2.105) 
由 于 
EC(Yh) = Bane ha Pa} Eh |t{n) Sn) 
=E_ ve Fh iotan— 1 Bh tn} Sy {2.106) 
令 
下 一 《四 一 1 出 一 位 的 一 1 天 ] 
B. 二 AANMN Gir 1)T CA NN Gtry 
- |]l9* 


其 中 人 人 一 之 ， ,加 (是 { 汶 ,…,* 虱 } 中 答 有 ?个 发 生 
的 事 忻 ,由 引 理 2, 77 及 (2. 103) 式 
ECY hs |t{n} Bn) 
= En (YP EOS, {nr} nt 1) 
= Ea, (Yl) 十 PC 大 ?BC |t" Sat1) 
= EnatAX en PIF 
< 
一 天 (二 ft* En) 
一 再 (PT tne—1} ny 
这 里 当 且 习 当 中 一 “中 时 ,等 号 成 立 从 而 由 (2. 106) 式 
BY lw BY 
定理 得 证 。 
上 上面 的 定理 中 ,XX ,Xs,*…,X, 为 独立 的 假设 是 非 本 项 的 。 事 实 
上 ;只 要 在 (2. 98) 中 用 对 .i 二 oC 天 ,天 ) 的 条 件 期 望 代 圭 EC*| 
XX) ,同样 有 类 似 的 结论 
max Ella{Xi—e) | YFP Fa) ne) 


ot) . 
BLOX — s+ Pg (rm 1) | ,] 
EOCX—IPCO CY) | PJ 
此 时 (C2. 99) 式 也 应 作 相 应 的 修改 ,只 要 在 C2. 104) 式 作 适 当 的 俱 改 
仍 可 证 明 (2. 103) 式 ,从 而 重 证 定理 2. 78, 读 者 可 作为 练习 。 
” 例 6 设 关 =={ 姑 ,74 二 1,2,… 是 iid 序列 , 且 服 从 C0， 
1) 上 的 均匀 分 布 ,那么 可 见 由 二 所 一 … 一 二 V,,X; 的 分 布 函 数 为 


1; Ee 
pp zz (0,1) 
(0, = 二 上 


注意 到 现在 所 讨论 的 是 无 限 情形 .C2.99) 式 中 ;实际 上 都 是 
月 限 情 形 下 的 什 , 应 记 为 CW) ,现在 令 
[二 lim ViCNY 
由 于 总 位 0, 由 定理 2.24, 可 知 这 里 的 


太一 sup 到 个 
EE 


在 {2.99) 式 中 , 政 记 光一 所 (NW) ,再 令 No, 由 单调 收 钱 定理 便 

= BOE en—V) Pg —1) 1A) 

HELOXE cin— Vi POY XD Fi, nl 
(2.107) 
在 (CXR) 为 记 的 情形 ,有 VGN 二 VCN 十 1 ;从 而 玉 一 Vij 一 Vn 
这 1 ,对 不 同 的 Y= 访 二 … 二 Vr? 和 AV. 现在 取 | 
=X ,P(A)=1—r 

由 狼 立 性 ,容易 算得 

Pegtr—1) | XD =P Og (ro 1)) =01 i 


一 了 
PC |X1)=PO (7)) = 01 Ve 
BCXI— VI+ 1 VY/2 


8 一 太一 本 一 





由 (2. 107) 式 得 
py 
Oe) 
二 ( 诗 一 人 2010 一 V)p1 二 0 (2. 108) 


设 ?=5, 则 由 (2. 108), 对 + 二 5,4,3,2,1 有 
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一 1 一 0， rr 二 8 

dr 一 2V 一 1 二 ， 7 一 和 

8 一 上 一 1 一 让 了 一 忆 

和 十 2 上 十 7 一 1 一 0， 7 一 2 

让 十 让 十 Pa 十 因 十 一 1 一 0， 7 一 1 
它们 统称 为 平衡 方程 ,r 您 小 时 ,F 的 值 岂 小 一 些 ,这 是 申 于 每 个 局 
中 人 都 受到 “被 迫 停 止 " 的 强烈 影响 所 致 .如 果 钨 数 水 平 较 大 ,这 种 
影响 将 会 减弱 。 在 * 一 ?的 所 谓 一 致 情形 ,上 将 最 天 ,但 是 我 们 世 要 
看 到 ,这 种 “一 致 ”情形 ,将 会 使 实际 的 施行 带 来 困难 。 

记 Fr=V 人 ,41 则 


Lm,= lim 后 一 


{2. 109) 


a 


在 (2. 99) 中 令 0 二 0, 可 得 
P= ECX PY Pegy sr— 1) |X,.)) 
十 ECCX VI PG | Xv TC 
1 


太一 过 


2 

下 图 描绘 了 P=5,r= 二 1.2,3,4,5 时 ,VY 的 图 像 ,由 此 可 见 当 
< 过 1 时 ,7 二 3,4 的 情形 已 经 很 令 人 满意 了 , 侠 中 埋 括 各 里面 的 数 
字 为 相应 的 [的 值 ; 它 就 是 (2.109) 的 解 。 


P, 


?一 10007 







7 一 4(0. 8090) 


看. 了 上 
7 了 = 一 30 8503) 


0. 6° 
Fr = 2{0, 5498) 


r 一 1(0- 5087) # 
15 1 1 i0’ 
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$2.12 多 约束 下 的 最 优 停止 


设 有 概率 空间 (8,. 多 ,P),( 殉 ,是 多 的 一 族 上 升 e 代数 族 ， 
人 (X!, 由 六 为 可 积 的 适应 可 测 向 量 序 


列 , 读 一半 十 她, 二 1,2,"… 与 定 仍 表示 关于 CC 久 ,) 的 停止 规 
则 与 停 时 的 集合 。 

GE—={EF .nH FX <Lo0) 

Ca 一 Ca 门 .到 


太一 {tS ,Exiti=1,， 2, 且 至 少 成 立 一 个 不 等 号 ) 
其 中 ,二 BX ,f= 二 1,2,.46EC,, 
二 esssupE(AX | i 二 1]12 
rec ND 
besssupE(X,|.%,) 


太一 sup EX:, i=],2 


0 名 in 
,= sup Ex 
1E CN 
我 们 要 考 谍 约束 在 心 m 2 中 的 最 优 停止 问题 ， 即 求解 
SUD 吉 X,. 
EC ND 


定 交 2. 12 停 时 1 称 为 是 协调 a( 严 ) 可 取 的 、 是 指 在 [> 了 2 
上 上 ,BCX 多 六 昌 等 价 于 BCX DC)X? a.s. 

引 理 2.79 设 iEGC, 门 D, 邻 | 

tt =inf {fa ECX | SY) EEX,i= 1,2} C2.110) 

并 设 门 D 中 的 停 时 都 是 协调 # 严 可 取 的 , 则 

De ECND St 

i BOXE | ) RCN FF,) ,i=1,2; 

ii) 对 XX' 昌 都 有 是 % 可 取 的 。 


证 明 i) 容易 看 出 所 1!<oo9.3, 且 ECG; 由 


=、 a 
ix, ,xi S| er i 二 1 ,2 
本 一 与 二 nm 
可 知 { ECND. 
i 对 jn 4E FT, 


= 之 | > | 
ANir = MN tr et} 


i 
上 
| A Li km 


| 
1 一 1,2 
令 j= 则 得 BCXE |F) 守 BOX ,) ,i 一 1,2. 
十) 在 [rf >ja] 上 ,5X D)>X! 或 者 8CX | 多 站 >X! 成 
开 , 所 以 在 [# 沁 jn]j 上 | 
ECX | 了 7) 这 XI 或 BOX | > 
成 立 ; 由 于 # EOND 是 协调 # 严 ) 可 取 的 ;所 以 # 是 XX 日 X 可 
到 的 。 
引 理 2. 80 设 #EEG 站 DT 一 Ytstint 是 半 且 和 at 严 )] 
取 的 ; 则 TtEGND,7 是 并 有 和 且 Xin《 严 ) 可 取 的 , 且 
ECOX FYFE | j=1,21=1,2, (2.111) 
证 明 容易 看 出 TEC,Y jt,4E€E. 久 ， 
| sa 一 =| 莽 十 和 | KX: 
AN Ct kt 4 站 二 =r 


5 一 了 PE 


>C>) 之 | x+ 人 | 
A = =#t= 7 


t=, Li 


ANt2D 1! 


[X20 [i 
所 以 F(X! . 字 小 守 (>)BCX | 祈 ,), 同 理 可 证 男 一 不 等 式 ;E(X! | 
多 .六 (人 | ,将 上 两 式 中 指标 1 改 为 2 的 结果 仍然 是 成 
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取 j 二 ,得 


立 的 ,于 是 EX 这 BXi,i 二 1,2. 因 此 rE.ND,; 因 为 [tr 守 谎 二 [ 比 六 记 
[4 半 衣 , 训 rt 是 XX 且 XX 5 可取 的 . 
下 六 需要 对 报 汪 序 列 C 和 XX) 附加 条 件 C* DY RAR jE 
一 1 总 存在 ! 忆 8 使 . 
EEX ,i=1,2 (2, 112) 
引 理 2. 81 设 条 件 Cx ) 满 足 , 则 
DY ied Dk, 存在 EC 站 DD, 售 当 1 守 时 ,1' =1; 
站) 在 [ 沪 刀 上 
ECON PFI, EX | i=1,2 《2.113) 
证 明 站 令 8=inf {ECO|) 字 ,i 一 112},j 一 RW 十 
i111, 则 8 是 停 时 , 且 5,E 0 事实 上 
EX = > | 六 = 一 > | | 入 让 
< 二 | rr- | 党 六 
站 [ 史 六 要 
一 下 Xi <o0, (i=1,2) 
仿 
! = t ZSH0- 
则 # k, 容 易 证 明 站 Eci, 而 由 


Ps 


BRL = EXtfrss Sax, C= 


n+ > | Laxs, L971)-X] 
BX,i=112 
所 以 
1 EGOND 
iiy》 由 于 六 世 EG 门 记 所 以 BCXi | 外 才 芒 , CX [FD 之 认 ,i 
一 1,2, 而 在 [2 守 K] 上 ,1 ==t. 
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引 理 2. 82 . 设 序列 蕊 一 (站 ,X 满 足 芭 件 (* 29,1EC 门 Do 
=int {En Xi i=12} 1 tAm, Rv EGND LY Et H 
ROX IZ BECX| PF,), 这 1,2， C2, 114) 
证 明 YY 4E. 多 ,由 引 理 2. 81 之 让 可 逢 


< 
| 六 二 二 > | : 六 
4M  “ kk AN Cr, = 


bie 


< 之 | 六 
有 一 日 A = 


EE 
人 

< 之 | XE 
二 4 站 to ky 


=| Xi 
Aft le, < 


| XX =| Xo +| 入 全 
| 站 AN Cet? 


<|, wo +t) 
一 jx， i=—1,2 
于 是 # EW, 由 引 理 2,81 之 症 } 的 另 一 条 不 等 式 ; 风 可 证 得 BCX | 
FECXT PN) ,i—=1, 2, 
引 理 2. 83 设 CX!, X28)T 蚌 可 积 的 适应 向 量 序列 ,并 设 CD 
中 的 停 时 是 协调 # 严 可 取 的 ,那么 存在 5. 门 ? 中 递增 的 XX 且 X? 
可 取 停 时 列 (7) ,使 当 上 =co 时 
KEN |) i 一 1,2 
, 成立 , 当 条 件 (# ) 成 立时 ,还 可 又 求 元 入 0 5 
证 明 由 六 之 定 尽 ;存在 Cx 中 的 停 时 列 人 (01)), {4(2)} ,使 


由 此 得 


得 
mE(CXio | ,) =, i 二 1],2 
kn 


* 126 « 


不 妨 取 吉 (1) 一 二 (2) 一 记念 
二 jinf {m2 之 A BX | 于 m1 二 1 ,2} 
=inf {ma BO | mn) EX ,i 1,2) 
则 由 引 理 2. 79 可 知 
DeEr, ND qs.i=1,2 
iiy ECXE | .FIERX | 加 
R(XE NB) BCX |.F,) 
从 而 1im BCX5 .=i=1,2。 
i) 玉 ,& 都 是 X! 且 Xn 可 取 的 。 . 
今 5 二 相 YV 8,k1 ,由 引 理 2. 80, 可知:EC 门 PD, 二 1,2,， 
而 二 (X | 名字 下 | 1,2, 所 以 lim&(CXs, | = i=1， 
2, 最 后 令 
T1 一 入 | = Vt OT Se 
则 二 本, 对 一 切 E0EC ND BCX | EC |F.) ,BX |.F.) 
BX ==1,2. 所 以 ,中 二 有 |. 殉 ) 直 其 一 2. 
由 引 理 2. 82 可 知 ,在 条 件 ( x ?下 ,还 可 要 求 4&0。 a s 
推论 2. 84 设 对 任意 的 :EC 站 5,! 是 协调 x 严 可 取 的 , 则 
六 十 民 二 3 《2.115) 
证 明 由 引 理 2. 83, 存 在 (ww) ,mEc[D 
半 十 最 手 玫 (和 十 总 | 于 不 内 十 六 
而 去 ( 革 十 | 入 和 所 以 其 十 六 所。 另 一 方面 ,和 凡 十 芒 总 是 成 
立 的 。 
定理 2. 85 设 任 意 的 1tEC. 门 了 是 协调 严 可 取 的 , 则 














刘 yoXiVy Bn), nl1yi=1,2 (2.116) 
i) Vi—~Br, im1,2 (2.117) 
证 ) ,= by, (2.118) 


证 明 日 YaErmD, 记 3 全 = 全 ,由 引 理 2.81, 在 素 一 人 
-= 127。 


> 上 RON) 和 rs 从 而 在 记 上 ,BOXE| 访 和 (Wr | 
i 二 11,2, 于 是 ,CX 小 守 1f 访 十 下 B+.|.: 实 ,从 而 
HEX VY BOP | i—1,2 
而 由 引 理 2. 83 ,存在 Ci 门 D 中 投 列 C7.) ,使 得 
EC | Sr) 4 Wr 
于 是 其 芒 基 2 | 多) 下 (其 :中 区 ,从 而 可 证 得 (2. 116)。 
ii) 由 2. 83 训 得 。 
这) 由 推论 2.84 易 得 。 
引 理 2. 86 设 中 之 cowi 一 1,2; 并 设 任意 的 EG. 门 D 是 协调 
严 可 取 的 ,ft 为 避 门 六 中 一 列 递 增 的 停止 规则 ,使 得 ZX; 区, 则 
Pllimt0.) = 1, i=1,2 
证 明 可 逐 字 恒 复 引 理 2, 19 的 证 明 , 其 中 由 BR 十 
二 1,2, 一 方面 得 到 ECa 门 D, 另 方面 导出 放空 忆 十 t 之 节目 。 
引 理 2. 87 车 sytE Cn 门 D, 对 一 切 hn 
BCX 主语 ， 在 [s 守 人 ] 上 ,i 二 1,2 C2.119) 
ECXI Pr) EX:, 在 [s 一 5S 门 上 ,一 1,2 《2. 120) 
则 | 
ECX XPECX! TX) 
证 明 贸 给 读者 ,下 面 是 主要 结果 。 
定理 2. 88 站 ) 设 (X,X:) 满 足 条 件 (#) ,0 一 inf {fk 守 n; 入 汪 其， 
i 一 112)E€ECND, 且 是 X' 及 Xi 可 取 的 ; 则 它 是 C 门 Dp 中 最 优 的 ; 
说 若 志 之 十 o0, 和 条件 (x* ) 满 足 , 并 设 0. 门 D 中 的 停 时 都 是 协 
调 r 严 可 取 的 , 且 存 在 关于 Xr 二 名 十 XX 的 最 优 规则 二 则 6, 各 t,o 
最 优 ,X! 及 Xa 可取, 且 在 [o>k 守 nx] 上 和 
BCX | SE)=H, knsi=1,2 {2.121) 
证 明 DD 由 于 0 是 及 Xn 可取,K2.119) 式 对 s 一 m 成 立 ， 
再 由 引 理 2. 81, 在 [0 二 +,t>k] 上 
BOXN PEENMEX, i=1,2 
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序 52. 120) 式 成 立 , 从 而 a, 最 优 。 

i 宙 引 埋 2. 86,0, 技 { os ,由 引 理 2. 82,# 二 mAt 二 是 避 
站 2 中 最 优 的 ,为 证 明 mm 是 X' 及 闫 可取 的 ,只 要 证 明 (2. 121) 式 
成 立 ( 因 为 0 是 协调 a 严 可 取 的 ,为 此 记 4 一 {0h CXS |. 殉 ，) 


有 i 二 1 或 2} ,不 妨 设 才 上 BCX | 名) 之 议 , 若 ra)>0, 则 | RL 
朝 


< 一 | ,由 定理 2. 83, 存 在 i:€ Cn 六 ,使 得 | 避 >> | 令 二 tia 十 
oa 则 EC E>BO. 取 之 BX1 一 BXL ,由 于 在 4 上 ,ECX! | 


DSH 汉 坟 | 天 , 且 存 在 一 列 { 让 SC 六, 使 得 BC 


六 ,所 以 存在 EOND, 使 得 | 区 >】 中 -人 令 42V6 则 4 
关门 2 则 引 理 2.80 
[Xx>| 区 >| Be 
而 另 一 方面 ,由 引 理 2. 80, 且 (| 多 > 且 和 | 殉 , 所 以 
fx >| 4 >| 惟 
令 f 二 六 二 十 ofac, 则 
EX! =|， .十 | KE EN +e 
2 一 | Xt | > EX — 
从而 BX;>> BxX。 .矛盾 ! 
最 后 我 们 给 出 下 述 关 于 最 优 规 则 的 存在 性 定理 。 
定理 2.89 设 可 积 适 庶 序 列 (3234, XSD)7 满 足 条 件 (* ), 且 于 召 
Supx%<coi 一 2 YLECND,t 是 协调 x 严 可 取 的 ,并 设 如 之 
中 或 mw 过 丰 成立 , 则 当 上 二 ce a s. 时 ,mm 便 是 GD 中 最 优 规 
则 , 且 当 oo 二 1,2) 时 ,0, 祁 co fH. 8, 成 立 。 
证 明 出 引 理 2. 83, 存 在 {tC 过 OC. 门 Dy ,0 加 不 i 
二 1,2, 由 条 件 划 ,六 <co ,再 由 引 理 2. 86, 0, = lm, 


* 129 。 





由 条 性 站 ,应 用 Fateu 引 理 
rs = lim EX 
SE lm supXt,) 
<| 十 | msup < 
车 PCm 之 00)==1 则 2X5 突 亿 守 1 可 见 0 EC ND, 且 EX 突 由 十 
记 尖 VW,, 因 而 它 是 最 优 的 ,县 当 站 一 一 cc 时 , 必 有 es<<eo es 
注 16 这 里 协调 * 严 可 取 的 要 求 是 本 质 的 , 它 表 示 ( 冯 ,3 之 
间 某 种 关系 。 
注 17 条 件 (* ) 只 是 为 了 保证 引 理 2. 8] ,如 果 条 件 Cx*) 不 成 
立 , 也 就 意 际 着 存在 上 及 j 所 -1, 使 得 对 任何 ! 尝 #,BCX|. 实 站 六 
si 因此 我 们 只 须 讨 论 有 限 情形 nx<@* 的 最 优 停 止 间 题 ,由 此 可 见 
条 性 (x ) 是 非 本 质 的 。 


$2.13 多 目标 最 优 停止 一 一 有 效 规 则 


多 日 标 最 优 停 止 基 多 目标 决策 理论 的 一 部 分 ,如 果 我 们 能 抄 
到 一 组 权 画 数 , 把 各 个 目标 的 报酬 加 权 平 均 , 则 可 将 多 目标 最 优 停 
正 化 为 单 目 标的 最 优 停 止 问题 ,这 种 情形 就 可 不 必 讨 论 了 .在 3 2. 
1i 中 曾 提 出 过 一 个 多 数 规则 ,把 多 目标 决策 化 为 多 人 对 策 的 阿 题 ， 
现在 从 另 一 角 凑 来 讨论 多 目标 的 最 优 停止 问题 。 

设 有 ? 维 可 积 的 随机 向 量 序列 (XJPF 站 (和 娠 和 )7 它 定 
义 在 某 一 概率 空间 (C8, ,P) 上 , 记 0 二 人 EF .mB oi 
一 1.2,… ,路 。 我 们 要 研究 

St SpA EBX?) ”| (2. 122) 

的 最 优 停 止 问题 。 

但 是 (2. 122) 的 提 法 是 不 确切 的 ,因为 疡 不 是 一 个 全 序 集 ,为 

.130 。 


-此 先 引 入 下 面 的 概念 1 

定 必 2. 13 后 室 则 中 依 序 关系 “之 ”人 > ”六 ”分别 是 指 下 面 
的 关系 :9 二 Cy 六 于 六) 及 各 二 ( 疯 ; 珀 玫 ) :39 兰 攻 是 指 对 一 
1 六 如 是 指 y 守 pp, 且 至 少 存 在 一 个 蚀 合 六 记 吏 ,党 
是 指 对 一 切 1 拟 ip 这 六 


A- 
全 


OR={EC, B EX EEX:} 
一人 EC A EXEX.-} 
C= BX 与 BX 不 可 比较 } ， 

定 当 2. 14 称 {"EECr 为 多 目标 问题 (2. 122) 的 绝对 最 优 停止 
规则 :是 指 (说 一 9 一 由 ,也 即 对 一 切 iE ,BXSBX ,G6 中 全 
体 绝对 最 优 规 则 记 为 0*. 

定 尺 2.15 称 t*EC, 是 (2. 122) 的 有 效 停 止 规则 ,是 指 售 二 
名, 换言之 ,不 存在 1EC, 使 得 BX>EX' ,全 体 有 效 规则 记 为 C. 

定义 2. 16 称 了 所 必 是 (2. 122) 的 弱 有 效 停 止 规则 ,是 指 CC 这 
一 少 ,换言之 ,不 存在 4 名 ,使 得 以 六 Be 全体 弱 有 效 规 则 记 为 
C 





显然 
Ce 

对 于 多 目标 最 优 停止 问题 ,我 们 只 能 求 出 全 部 或 一 系列 有 效 
《或 绊 有 效 ) 的 停止 规则 , 供 决策 者 择 取 ,决策 者 可 以 根据 另外 的 原 
则 (比如 选 最 小 的 有 效 停止 ,或 者 偏向 于 某 一 目标 ) 在 这 些 有 效 或 
弱 有 效 规 则 任 选 一 个 , 求 有 效 规 则 的 方法 往往 是 设法 把 尼 们 化 妇 
为 一 个 单 目 标 问 题 。 

下 面 设 纪 *) 为 户 上 实 值 函数 ，。 

定理 2. 90 设 kt 六) 为 单调 增 应 数 , 若 
suphC BX) 〔《2. 123》 
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有 最 优 停止 规则 ,由 其 任 伍 最 优 规 则 都 是 (2. 122) 的 有 效 停止 规 
则 。 

证 明 设 4 为 (2.123) 的 最 优 规 则 ,如 果 不是 C2.122) 的 有 
效 规则 , 则 必 存 在 翅 使 BX>EX, ,从 而 有 EBX)>hCEX) 与 而 
的 最 优 性 矛盾 。 

定理 2.91 设 记 办) 在 启 土 单调 不 减 , 且 对 (2. 123) 的 任 一 最 
优 规则 

De= {EC EX > EX ES 


存在 sup ,全 JBX; 的 最 优 规则 , 则 (2. 123) 的 最 优 规则 中 必 有 (2. 
123) 的 有 效 规则 。 

证 明 设 4 为 (2.123) 的 最 优 规则 , 若 不 是 (2, 122) 的 有 效 
规则 , 则 0= 信 天 @, 由 假设 ,存在 sup ,之 48X 的 最 优 规则 局 , 则 可 
“证明 必 Ece. 事实 上 ,车 小 和 Ce, 则 必 有 2ECn, 使 得 Be >> 


8X ,从 而 i 旋 C. 门 但 入 18Xi> 之 2; ,与 让 为 Sup ,228% 最 优 
规则 也 上 盾 ; 由 1 亿 D ,得 EX, > XEX, ) EX }=sup 上 
(BX ,这 说 明 若 不 是 {2. 122) 的 有 效 规则 , 必 存 在 sup CBXD 的 


最 优 规则 是 (2. 122) 的 有 效 规则 。 
写 A Ay As 全 


上 # 
hg DA 1 og 
于 是 当 向 量 % 光 0 时 ,hCGy, 科 关于 gi 宇 0 为 单调 增加 ; 当 0 时 ,hy， 
力 关 于 ?六 0 单调 不 减 , 记 
Ci = {EC HBX sup ACEXL A)Y 
定理 2. 92 设 REK0( 对 任意 的 ic, 则 
Ue GC,, 
a 
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UC GEC. 


FH 
证 明 设 如 和 06; 则 存在 iE Cr, 使 8Xi 兴 BX , 克 当 人 > 0 时 ， 
(BX) >A(EX 4) ,这 表明 如 蕊 02 ,矛盾 ; 同 理 可 证 男 一 个 式 子 。 
注 18 如 果 拓 一 inf BX!> 一 o0,f= (fi, 有 ， 全 站 一 
一 了 , 则 EEX 裤 0 前 关于 (的 Cw 与 Cw 是 相同 的 , 取 适 当 的 6， 
C=07. 
注 19 ” 当 取 多 =1, 和 二 04 产 广 , 则 各 >0, 则 由 定理 2. 92, 每 个 
分 目标 的 最 优 规 则 都 是 (2, 122) 的 弱 有 效 规则 。 
引 理 2. 93 假定 所 人 sup EXi<ooGi=1,241p) 且 (2,122) 存 
在 绝对 最 优 规 则 记 , 则 
iD ooco ds 其 中 
oinf {Fn Xi 1 2 (2.124) 
HcsssupB (XE 4) (2.125) 
ii 0 和 ol, 存在 EC,;, 使 得 
BXi SagXi + (I— MEX, icl,2,%,p (2.126) 
证 明 由 负 是 绝对 最 优 ; 对 每 一 个 分 目标 也 是 最 优 的 ,因此 
由 引 理 2. 22 , 克 一 天 一 1 2 于 是 os< 太 <co， 5 
和 上) 仿生 一 inf 下 六 XiaB (|) CI-o h(E | ,i 
1,2.007};: 则 站 是 多, 停 时 ,t* 守 xn. 在 [0,=*] 上 
Xi=HoBN OT -DEC | 
所 以 个 二 之 20g,3, 易 见 已 ;而 





| 并 多 | A 
[t=m] [一 


= aB¥ 十 《1- 的 有 ， 一 1,2 3 
证 毕 ， 
“- 183 。 


定 理 2. D4 , 设 hi, A 王 之 /jy 且 . coo,1i= 1， 2 Ps 
(2, 112) 问 题 存 在 绝对 最 优 规 则 4: 则 


Uo: 一 CC 
ar 
其 中 ， 
Cro={t" EC hE A) = SupRC EX ,AY} (2. 126) 
上 E 


证 时 首先 证 明山 Cx 生 Cwe; 设 对 某 个 40>0,t* EO, 但 七 
Cu: 则 必 存 在 iE 忆 :使 EX EX 于 是 EX 这 加 BX ,这 与 EE 
ec 牙 盾 ,这 里 好 表 示 72 的 转 署 。 

往 证 反 包 含 , 即 要 证 Y haEce 尼 存在 公 >0, 使 E07 , 令 

Y=IVER VEO) 
= {XE RR, XPEX -EX EC,} 
易 见 Y 是 凸 集 ,由 引 理 2.93, 可 证 受 是 西 的 .事实 上 ,W 有 141 所 
季风 YY 0<a<1YiEcC 
daz 二 (l— oa)e 
alEX — BBX) EX — EX) 
EX, — EBX." 
由 于 ECw: 可 见 学 间 训 = 二 说 ,上 且 祁 是 开 集 , 故 由 同 集 分 离 定 理 ， 
. 存在 4 关 0, 使 得 对 一 切 sE%Y azE 5 有 和 zz 六 六 vy 因为 v0,0E 
空 , 故 必 0, 取 z 二 BX 一 BY,s 令 v0, 则 和 BX 守 知 BC 所 以 好 
EC? ,这 就 证 明了 CS UC, 
函数 hy,) = min | 到 | 不 是 局 上 的 单调 函数 ,但 对 函数 馈 仍 
然 有 1 
定理 2. 95 ” 设 对 {EGE&X 守 0, 则 
We = 
其 中 ,C2 照 (2,126), 由 这 里 的 所 定义 。 | 
证 明 先 证 (C2? SSC, 如 果 存 在 0 及 wEC? ;但 Ec, 则 


。134 。 








存在 iE 忆 ,使 得 EXi>BX ,于 是 Y >0, 有 某 个 1 二 ,使 


min HEXI— hs EXP > EX min MEX! 
Ii * Ii 


这 表明 tuEC; 矛盾 。 
往 证 CeS Me * 设 对 任何 -0,5 中 停止 规则 人 人 , 取 
jp 1 
(EX 这 ax) 
站 - 
则 和 >0, 之 人 一 1, 于 是 有 ?EC., 使 得 
min AEX}> min EX 
[= li 


于 是 


时 
二 ， 1 1 
RX: = > -1 
hEX: (A By 


= min EXE < min MEXISS HEY i=1 2 p 
1 li 
页 Eues 得 证 a 
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第 三 章 ”马尔 可 夫 序 列 的 最 优 停止 


在 众多 的 实际 问题 中 ,我 们 所 观察 的 随机 序列 具有 元 后 效 性 
或 者 称 为 蕊 氏 性 ,因此 在 最 优 停 止 理 论 中 专门 研究 马 开 序列 或 可 
氏 过 程 的 最 优 停 止 是 十 分 必 区 的 ;而 且 马 氏 过 程 理 论 中 的 转移 函 
数 与 算 子 半 群 使 得 最 优 停止 理论 的 内 容 更 加 丰 寅 多彩 ， 


$3.1 基本 假设 


设 民 = (X 多 . 忆 ) 江 ,是 一 个 取 慎 在 可 测 空 间 (2,: 字 ?上 的 齐 
次 马 氏 链 。 我们 仍 用 字 或 有 表示 (多 JJ) 一 停止 规则 与 广义 规则 
的 全 体 , 记 
竺 = {yls 是 史 可 测 实 值 冰 数 ,BYxE ,一 cy) 二 o0} 
我 们 用 gcX,) 表 示 停 在 #* 时 所 得 的 报酬 ,其 中 yg&€ 咖 , 称 . 

VOr) = syp{Eog(AXN)TE .FB Yr EH Bo} EF 意 义 } 
为 相应 于 报酬 函数 g(x) 的 值 函 数 ,简称 为 值 防 数 , 记 
Og)={rEF ,HY Es, BX ) oo} 
容易 证 明 
VOO= sup gCX) 

事实 上 ,我 们 只 须 证 Y zE BrE ,Bg9(X.) 有 音 闵 , 必 存 在 亏 
所 Cg) 使 Bg(Xi) 之 9X,)。 为 此 , 当 

i Eg (CX)=00 时 ,令吉 =0, 则 Bg (Xi) 一 gz 人 一 co 二 下凡 
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《三 
ji) Bg 《YXDJ<eo 时 , 令 环 一 zx 十 8， Feoy 显然 mm 所 之 ， 
且 对 任何 x 万 才 - 
Bg” CX) Ebrg CKO-nt Brg CXo) Txors 
所 以 当 *w*=z 时 . | 
Bg (X= Eg CRO io—e J CF) oO 
这 表明 wwEC9) ,而 且 | 
Eg(X) = J 9 Paw) =E.9(X,) 


定 光 3.1 2 宇 090, 规则 7zECCg) 称 为 是 Cz, 仆 最 优 的 ,是 指 
¥ te 
| VO) 一 sgCX。) (3. 1) 
特别 称 (0, 上 最 优 规 则 为 最 优 规 则 。 

第 2 章 中 4:' 条 件 取 下 面 的 方式 


go) = limg(X,). 


我 们 仍 称 为 4! 条件 ,同样 可 在 区 或 相应 的 0(9) 一 {rE 1Y zc 
,Bg- CX,) 之 co} 中 考虑 广义 的 最 优 规则 ,此 时 相应 的 值 函数 为 


Vz) a sup EgCX:) 
Et 
其 中 ,E60 = 二 {rE 了 HY EB,B(g(X)) <00)。 


3 3.2 有 有限 情形 


开始 讨论 有 限 情形 ,也 就 是 假定 我 们 所 观察 到 的 马 氏 链 是 


《区 四 Pn=0,1,2,"",N. 


忆 C9) ={rrE CC nr N} ,CF (9) aC Cg) 
V3) 一 sup BIXEE BVY CE) OV (r) 
二 eg 
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Wz) —esssupB (9(X) |.F,) ,2) A (2) 


"EC 
这 里 4 二 0,1,2,.… ,入 ,以 (X) 便 是 Snell 包 函 数 。 
我 们 感 兴 趣 的 问题 是 ;0* (人 中 是 否 存在 最 优 规则 ? 类 似 于 别 
尔 受 方程 的 将 是 什么 ? Snell 包 尊 数 有 什么 性 质 ? 
下 面 将 限制 报酬 函数 y 属于 类 革 
LaA{g|9E BHY rER, Eg (Xi)<L ooo} 
这 里 Eq (Xi 家 示 (9CX1)-)。 
定 尺 算 子 8: 上 如 下 :VY rE BgEL 
Q(z) =x) VY Tg(x) 《3. 2) 
其 中 Tyg(x) = 二 天 gCX1) ,并 归纳 定义 
Oy g(r) ig) VY TO tg (x) 


容易 证 明 
Sg) = YY TO gr) (3. 3) 
引 理 3.1 Yr€E 
VPN) g(r) - (3. 4) 


证 明 当 w 一 0 时 ,(3, 人) 旺 然 成 立 , 设 w>>0, 令 4=[7+=N]， 
这 里 rEC*(g), 显 然 
4 一 ON U Cr=i€.F,. L# 


因此 
EgCX) = Blo XD) + Elg( Ks) 
=EBlagtXracw— ;二 ElaBr,_ gtX) ) 
Elric) BlaBr,, 9X!) 
Bg Xn OV Bow_ a9 CK)) 
一 下 合作 we 
于 是 


Eg(X EQ Xn tu 1y » 
Eg Xn (3 一 2 
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< 


EE gCX,.) 
= gt) 
所 以 FF* (x} 一 sup BotX A g(r) 
TECN py 
引 理 3. 2 N=0,1,2,. ze 有 
dg (x) = Bg [其 or (3. 5) 
其 中 - 
=inf{0<tE Ng XD) = 0" yAX)} 《3， 6) 


证 明 用 归纳 法 。 N=0 是 明显 的 ,如 果 (C3.5) 对 访 成 立 , 往 证 
上 十 1 之 情形 。 对 任何 TEE, 如 P(t 二 人 二 1, 则 由 (3.6) 式 
P(gtX) 0 tit Xo))=1 
因素 ?一 g(x) 二 gC) 一 上 Bg (Xt1) ,3.5) 式 得 证 ;如 
Per 一 的 拒 1, 由 于 (> 一生 扣 肥 而 由 马 氏 过 程 的 零 碍 律 知 
Plo*+tt 一 0) 二 0。 下 面 证 明 o**1==1 十 G10*,P, 一 a, s, 其 中 91 为 推移 
算 子 ,事实 上 
外 gr 一 下 inf10sSES 六 :人 一 光 和 )} 
二 inif0 委 六: gCXr) = Xe )} 
=inf{OEN tg) gCX)} 
1] 十 外 噬 | 
=inf{1<&k+ NTI TA ) ygN)} 
= CC Ploti1)=1) 
财 of PP 一 4,8,- 
QT NX) Pgs 
即 tig(x)>>glx)。 于 是 由 归纳 想 设 
Ottz) = V BOC,) 
=Eo' gx)) 
= EtErngtX)) 
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Boy X.”) 
=Eq(Xo oe" (ea ) 
= Egt Xr, ) 
Bot) 
引 理 2 得 证 ,其 中 第 四 个 等 号 由 于 马 氏 链 具 强 马 氏 性 :因此 对 
于 tx.sz 一 1 2 可 测 的 可 积 的 随机 变 基 ? 及 仿 时 *< ce ,有 
En ) = Ey? 
注 1 取 8E 有 多 ms 用 引 理 3. 1 同样 的 手法 可 证 :5g (Xiy 守 
BOQ" "gCX,)1s, 因 此 - 


BX Fm "gtXn) (3.7) 
定理 3.3 设 9E 工 , 则 
iD Fafzy 一 Grey 人 z)， N=0,1,2,.. (3. 8) 
i Vr) =gC) VIV*- (2) (2) g(r) 《3. 9) 


十 》o 一 jnf {10 千 和 CX 一 gCXe) 是 避 (9) 中 的 最 优 
规则 ,时 , 
Bg( 一 了 KZ 《3. 107) 
证 明 由 引 理 3.1 及 3.2 知 
oo (r= hy XV (rr) 
《3. 8) 式 车 证 。(3.9) 式 是 显然 的 ,因为 
总 二 
区 从 (3 8) 式 及 关 z) 一 人 2) 可 知人 3 10) 式 是 成 立 的 , 亦 即 
o 是 Oc9) 中 最 优 规 财 。 
注 2 如 Bg CRD)<o0yk==1200 5 由 C 二 ?二 {rE 
了 :07TEN} ,or 是 地 >” 中 最 优 规则 


注 3 令 
3 C3.11) 
由 定理 3, 3 可 知 
rinf {OCnc NX,E LY) C3. 12) 
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称 为 停 正 下 ,全 = 有 一 %7 为 继续 观察 域 ,显然 
=B 


Oy {0)) = eT) ge)} 

上 县 | 
P=0ECO EE ={r (gx)} 

因此 车 x 属于 在 某 一 步 要 继续 观察 的 域 ， 则 * 必 有 上 凯 于 前 面 几 步 的 


继续 观察 域 。 . 
下 面 的 定理 表达 了 Snell 包 函 数 闪 Cx) 的 性 质 ,特别 指出 了 人 它 
与 信 丙 数 的 关系 。 
定理 3.4 . 设 gE 纪 , 则 对 一 切 ox 和 NN 有 
i Vr BE "CX,) 3, 13) 
Hy) Wr) XY, Pd.s. (314) 
这) or 一 让 PS N X=)} (3. 15) 
是 ct9)? 中 最 已 规则 , 即 : 
Ey(X,* 一 sup Rot.) {3. 16) 
TEN tas 
二 [站 党、 )JI=esssupk. Cg Xi) | ,) 《3. 17) 
Tt try 


iv 《PK ,7,,P,) 是 控制 (gCX.))。 的 最 小 正则 上 著 。 
证 明 由 (3.7) 式 及 03.8) 式 ,YY 7ECY(9) 
BOK TIVE "gCXn) VX) (3.18) 
由 定理 3. 3 知 
vx_n=iNnf{( ORN— mR =) } 
是 个 一 (9) 中 最 优 规则 , 即 BgCX。， 一 Pr-"(z)， 而 
Boy a =inf{ Osh N mV OCX 
=iNf {mEN XN) =gX)} Om 
二 om (3.19) 
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i te f 的 Ka 力 一 天 -KK 一 其 玉 (GD9 
电 马 氏 性 ,VY zcEE 
Br[g CCX) | = Er Og A 
= Bx gtXoe, 
=V "(X.Y 
= "yg(X,) 
.出 (C3. 18) 式 ,Y TE CNCg) 


Blo(X)N FC 0 "Ks) = Bg CX ) 多 


)| 有 多- 


《3. 20) 
因此 ,及 8fKXD) 委 可 9CXe) ,从 而 只 EOC9). 由 (3. 20) 式 可 见 


过 (的 一 想 人 9(Xw)|. 冤 一 wmKX。) 
VG) Bg) ECX.) 
iD ,ii) ,ii) 全 部 得 证 , 往 证 iv)。 显 然 W*CXD) 守 gCX,), 且 VA* 
(EL 
YY (人 
= gCX,) 
TO XK) = Br 0 gt XL) 
= CO g(t) | 
= - 
这 表明 (YX 多 Po 六 是 控制 gCX,) 的 上 款 , 因 为 NN 是 
有 限 的 ,因此 对 任何 取 人 ,1,…, NW} 中 的 停止 规则 是 正则 的 , 往 证 
它 的 最 小 性 ,如 有 (5.) 汪 ,也 是 控制 C9(X))io 的 上 著 , 风 
Erg Xr) = Xs) 
| | 
E(t | 1) 
B.CgCX,) 上- 
=—hx, 9(CXD 一 29g(X 
所 以 
:142. 


一 
. 辐 理 可 证 乌 衬 外 下 CX.) 对 一 切 0<n<eN 成立 。 证 毕 。 
| 注 4 由 (3.14) 及 (3.3) 式 可 得 别 尔 曼 方程 
wr) 

=V CX 

= 

= XIV Ex " ‘gtXL) 

XIV BOO gC Xr | ,> 


= XV BW CX ) |],) 《3. 21) 
由 上 3. 13) 玉 (3. 14) 式 ,我 们 得 到 熟悉 的 结果 
VNB (x) 《3. 22) 
由 53.9) 及 (3. 13) 起 ,有 
VY = Y YY Cx) 《3. 23) 


例 1 第 一 标准 的 古典 秘书 问题 。 现 在 我 们 用 蔚 氏 链 的 方法 
研究 第 一 章 研究 过 的 问题 , 承 用 $ 1. 的 记号 ,所 ,%，… vy 构成 马 
氏 链 ,但 是 P( 久 一 j 六 -一 六 一 中 扩 一 及 关 ]/ ,可见 它 不 是 齐 次 马 
氏 链 . 为 了 应 用 本 节 的 结果 ,我们 可 以 将 非 齐 次 马 氏 链 齐 次 化 ,一 
般 地 ,如 果 {:tE 中 是 一 全 定义 在 (8 多 ,PY 上 取 值 (如 ,: 坎 ) 上 的 马 

_ 氏 过 程 , 令 如 二 TX BB 二 {CPV SET, 1 {rs ED}E 
和 } ,2 一 了 XR, 对 任何 w= 二 C3460), 定 半 (0 ) 二 (十 854(m))， 


对 任何 AE 3B ,4 二 {1 (s.r)E€4) EE 种 , 令 
PotAY—=Po tA) re. x) 
Pa I) pr,stt Lr) CPE 8) 
容易 证 明 {5',C0):tET} 便 是 定义 在 避 上 以 Plisz', 门 为 转 
称 函 数 的 齐 次 蕊 氏 链 。 
由 马 氏 链 { 扩 :六 ,可 梅 造 齐 次 马 氏 链 苑 一 { 筷 多 ,Pr 
二 1,24. ,其 中 z 寺 ,如 ) 对 z= 二 4, 四 冒 
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上 ， 一 1 
-| n 
0， . 如 #1 


PO C0) =1|2.)=P(,=] Ce 
0, yl 
容易 证 明 
Pb.tm) =—=1) 


到 


一 Ph=1|F PCdo) 
P| 
3 


=&u. D(C2.) 
由 C3.14) 式 , (2) 二 VW 一 ( 芭 (vw) =r Go 所 以 它 只 是 尔 


的 函数 ,由 (C3. 21) 式 
ng) gn Ys L cad， i) (3, 24) 

其 中 N=] ,2," “NN, 且 | 
- 1], 

BN | 


由 = 


(3. 25) 


1 


令 六 一 imnfftn31: 和 填 袜 中 , 则 对 一 切 my ,由 (3.24) 与 (3. 25) 
式 可 算得 人 >1) 
WD = 
M1 1 


WD 二 


MM ANC—l 


万 





_ pi ,CD = 


¥ .2 1 
坊间 一 一 《太一 了 了 十 亢 一 2 


”1144。 























lp Cy oy" 1 
We (Wi 
nm” 一 二 1 1 
了 Cyt" 十 天 一 1 
中 = 志和 (有 
1 .rr* 1 1 
一 产 { 方 上 《y TCR FF HF-} 
—p"_(1) ， 
由 (3. 24) 可 得 
所 《1 一 所 (1 一， 
一 Ww_101) 
一 1 1 i 1 
= 一 站 《 方 二 了 十 十 元 二 了 ) 
而 由 定理 3. 3, 最 优 规则 为 
0 一 


inf{l] < Rl CO gm yn )} 
一 inffy” rN = |} 


与 第 一 章 8 1. 1 的 结果 是 相同 的 。 


3 3.3 过 份 函 数 与 最 小 过 份 函数 


对 马 氏 链 最 优 停止 的 理论 ,过 份 函数 与 最 小 过 份 函 数 在 值 函 
数 V(z) 与 F(z) 的 构造 及 性 质 的 研究 中 起 着 重要 的 作用 。 
EE 


设计 =( 计 入, 忆 ),a 一 0,1,2,… 是 一 个 弃 次 马 氏 链 , 其 中 > 
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定义 3.2 画 数 FE. 殉 称 为 是 过 份 画 数 ,如 果 Y +E EB,Tf(z) 和 A 

号 .fx 有 意义 , 且 
人 FF 

定义 3.3 过 份 函数 了 称 为 是 函数 gEB 的 最 小 过 份 控制 是 指 

DY EE FO 

Hi) 如 果 h(z) 是 这 份 画 数 , 且 VY rEB,A7D) 守 9{7), 则 有 x) 字 
fr}, 

记 
和 史 (4-) 二 1fE 过, 目 满足 4 条 件 , 即 Y zEB,B，, sf (X)<eco} 
(4) 二 {1fE 吉 , 且 满 足 41 条 件 ,好 Y¥ xE BE supf* CX) oo0} 

(4+ 4) 二 久 CATD 门 久 (4-) 
EAI SE BA LA A AYN A) 
入 (gq ) 二 {1fE 滨 ,是 YW rE Ba 条件 成 立 , 芭 Ef (XX ) <co} 
其 中 F(X ) = lmf(X,). 易 知 
名 (4 ) 它 殉 ( 呈 ) 三 酒 
和 (47) = L(A) CLT 

过 份 函 数 具有 下 面 的 性 质 

性 质 1 常 值 函数 是 过 份 范 数 。 

性 质 2 如 果 f,g 都 是 非 负 过 份 函 数 ,a,2 为 非 负 常数 , 则 af 
十 好 也 是 非 负 过 份 函 数 。 

性 质 3 设 天 人生 红 是 过 份 函 数 的 非 降序 列 * 则 fC) = Limf. tz) 
EL 也 是 过 份 冰 数 。 

性 质 4 设 了 是 过 份 函 数 , 且 已 广 (XJ<co, 上 且 n 一 Di 2，…， 
则 {F(X ,PP 是 上 园 。 

证 明 BOCXD I) 二 By (XD = TF(CX YI SEFCN,) 

性 质 5 如 过 份 函数 了 满足 全 条 件 , 即 名 supf(X.)<<oo, 则 
0 12 一 T(z) 也 是 过 份 函 数 , 目 当 m 守 nn 时 ,Tf 
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( 赤 和 fr ,这 里 也 Pr) 二 mcz)) (共有 = 重耳 )。 
证 明 用 归纳 法 ,m= 二 0 是 成 立 的 ,如 果 nw 二 4 时 成 立 ， 则 当 mm 
二 上 十 1 村 
了 HE) = Ef Xi) = BETHOXD) SE EACKDY = firls) 
性 质 6 如 果 过 份 画 数 了 ,gE 络 , 则 了 Ayg 也 是 过 份 阔 数 。 
性 质 7 如 果 过 份 函 数 /满足 ， supE.f CX, )<ioo, 则 timf (CX.) 


EP 


as 存在 (有 有 限 或 等 于 十 =e)， 特别 如 果 存 在 随机 赛 量 使 如 | ?| 
<oo,H FCOXD)B. C.F,.), 则 tm 了 (X, ja.8 存在。 
证 明 册 上 灶 的 收 合 定理 可 得 。 | 
引 理 3.5 设 过 份 函 数 JE (4 ) 二 禾 (4-), 则 YW 两 个 停 时 
TOP (CTO0) =1, 则 | 
BAFOAXON TIEFK) Pts,sEE 
证 明 由 了 E 咬 (4 ) 及 性 质 ? ,limf《X.) 存 在 ,于 是 jx) 一 
lim f(x» .如果 了 E 洛 (4+ A) ,网 由 于 {六 (CX)oo 一 致 可 积 ; 因 
而 右 闵 。 由 Doob 停止 定理 , 便 知 (3, 26) 戌 立 , 对 于 一 般 的 了 E 到 
《4 ), 则 
六 5) 一 fr) ALDE BAT A) 


因此 
EAPCXO) | EX) 
由 Fatou 引 理 
B, (Qimp (CX: | 区 limf eX, ) 《3, 26) 
而 
limF LX,) 


= lmf CX oc ) Tt limf CX ) eo moo) 
=fCX VY om; limlim CFCX, 了 站 五》 天 tr= 00) 


oN on 


Xm FCN . 
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= 了 (X,) 
类 似 地 , im 天 CX.) 二 F(X,) P. 一 a.s, 由 (3..26) 即 得 证 本 引 理 。 


推论 3.6 如 果 报 酬 函 数 g(r) 是 过 份 的 , 且 g€€ 客 (4 ), 则 Y xz 
EE 
Vr)=r(r) =y9(r) 
且 + 二 0 是 最 优 规则 。 
证 明 显然 了 Cz)329(c) ,由 引 理 3.5,Y 停 时 7g(X,) 寺 Bg 
(X00) 二 g(z), 帮 FCO)==V lz) 二 g(x), 且 7 二 0 是 最 优 规 则 。 
引 理 3.7 如 fjE 芭 (4 ) 且 是 过 份 函 数 ， 则 
flr) ABFCX,,) 
也 是 过 份 函 数 ,这 里 4E 和希 (一 维 Borel 集 ) ,0 二 inf{n 守 0: 革 EE 41 
证 明令 0 二 infin 守 1]:X,E 4), 则 oi 守 gay TIC7) = Bf XL) 
一 EBx F(X。)。 由 强 马 氏 性 
E[ Er FCXs) |— BAFCX, ) BF o X, ) 
易 知 。X = 二 Xn (二 X60) 二 Xuwtw)。 因 此 ， Pfi(7) = 
BFCXANEEAX ) =f(r), 让 毕 。 
设 了 是 ?的 过 份 控制 , 则 W x 世 EE 
fe yl) Y TFCY 
下 面 的 引 理 表明 当 了 是 9 的 最 小 过 份 控制 时 ,上 述 不 等 式 将 
引 理 3.8 设 %E 芝 , 且 了 是 ?的 最 小 过 份 控制 , 则 YW xzEB 
fx) =gtr) VY TAF) (C3. 27) 
证 明 令 所 (2) 二 gr) VY THOD), 则 了 7) 主人 (2) 之 gCrz)。 往 证 刻 
也 是 g 的 过 份 控制 ,首先 77 (2) 守 Tg(7)>> 一 oc ,Tfh(z) 存 在 ,¥ 7E 
E 





TA ET gr YY THI) = f(r) 
从 而 由 ff 是 9 的 最 小 过 份 控制 得 fe) 寺 f(2) 所 以 f(x)== 了 (x) = 二 
gz) YTFCx)。 证 毕 。 
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引 理 表明 gE 的 最 小 过 份 榨 制 是 方程 (3. 27) 的 解 ,但 (3. 27 ) 
的 解 不 一 定 就 是 9 的 最 小 过 份 俯 制 , 如 取 1y(z) 1 和 SC<cc fs 
>, 它 不 是 最 小 过 份 控制 。 

下 面 的 引 理 给 出 寻求 g€ sf 的 最 小 过 份 控制 的 构造 性 方法 。 

引 理 3.9 设 g€ 纹 , 则 w(x)=limCg(z) 就 是 g(x) 的 最 小 过 份 
控制 。 | 

证 明 显然 gg(z) 关 于 单调 不 碱 ,因此 极限 函数 vx) 存在 ， 
且 z(z) 之 gtx)。 往 征 它 是 过 份 艾 数 , 由 "glz)2>T'"1g(lz) 及 单调 收 
敏 定 理 得 

0) = lim@'g Ce) 六 im 有 GO = Br(X) = Telx) 


大 果 了 也 是 ?的 过 份 伪 制 , 则 
， Qf FI Fr) YY TH) = F(x) 
于 是 fOr) ,7) Er) 
因此 ”是 y 的 最 小 过 份 控制 。 
注 4 如 假设 Pg(z) = 二 思 g (CX,) ,4 二 1,2,"… 有 意义 , 令 
Oy (x)—supig tr) g(r) Tig(ry ,ee} C3. 28} 


则 67) 二 lim 信 g(x) 也 县 9 的 最 小 过 份 控制 ,所 以 B(x) 二 v(x)。 
证 明 由 于 名 (zx) 关于 # 单 调 不 减 ， 因此 极限 bz) 存在 。 
(0) = lm) lm yg Xi) = EX) = Th) 
可 见 5z) 是 g(x) 的 过 份 控制 ,如 了 F(z) 也 是 g(x) 的 过 份 控制 ，- 
风 Bg(z)f(r) ,于 是 (zsf(oz ,因而 2 是 9 的 最 小 过 份 控制 , 它 
等 于 r(x)。 . 

引 理 3.10 设 gE 经 ,sz 是 它 的 最 小 过 份 控制 , 记 Cz) 二 g(x) 

上 A500f 0 为 中 (9 的 最 小 过 份 控制 , 刚 
sr)= lim (ry (3, 29) 


且 
一 limlim 人 gz) 《3. 303 
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证 明 ”由 于 #(z) 关 于 单调 不 减 , 且 豆 #CD 盖 一 co. 由 单调 
收 促 定理 . 1 
limyg (sz 一 T8g(z) 
因此 
limW'g 《一 他 9(z) 
"= -nme 
因为 grtz) EE, 所 以 
HD lm (time) =z) 
因而 lm tr)<v(z)。 田 一 方面 ,由 性 质 3,limw(x) 仍 然 是 控制 gCz) 
的 过 份 沙 数 , 所 以 limz(z) 之 oCz) ,3.29) 与 (3, 20) 两 式 得 证 ， 
9 之 最 小 过 份 控制 z 满足 方程 (3. 27) ,满足 (3. 27) 的 函数 了 有 
什么 性 质 呢 ? 
引 理 3.11 设 ygE 禾 ,f 满足 (3.27), 记 =inf{n 守 D0. 了 CX) 之 
9 十 Ej se 写 0, 车 f(z) 之 oo, 则 
BFCX ns) = f(r) “| (3.31) 
证 明 由 fl)<oo0 及 fE 史 知 [f(x) 109, 而 BFCX) 二 f(x) 
有 限 ,于 是 . 
EFA y=)P, (T= 0 oo 
BfCXOT ry) oo 


FITI= BAK 0 Bf (Xo) fr (3. 32) 
在 [tr>>0] 上 ,fCXD)>gCX), 教 了 (CX) 二 TY 了 (CX) 一 Bx F(X1)== 
(FCX | 训 ,)。 册 (3.32) 式 、 
f(D) = BFCX Ty EFCX ey 
=E/X ren tt EFCX Ys 
在 [Lr>1 上 ,CXD>g(X0), 故 了 XD)== 如 (FOX |. 信 1 因此 
fr) = rl) + EfCX rs 
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EfCX en Bf CN) 


=Bf Ce) leaw tt Bf CX sn 

=BfCXns) 
下 面 的 引 理 咕 明 在 适当 的 条 件 下 ,上 述 的 < 之 oo,P. 一 &. s. 
引 理 3.12 设 9E 另 (4+),2 为 其 最 小 过 份 控制 , 则 
Lime( X, )—limg(X, YP—a srEB (3.33) 


qo 


且 Y en0 
PT< ec 一 1 
这 里 
r=inf {n>0 ,0X,) og(X.) +e} 
证 明 为 证 (3. 33) 式 ,只 人 须 证 lmsCX, ) < lmygxX, )}。 国 定 z€ 
万 , 记 
加 二 supg (CX)， =, | ,) 
.由 马 氏 性 . . 
P=B haAPX) (gr)= Bp) 
易 见 BX) 二 supg (XY oo 
而 wp) =Bp 人 Eg( X=g(z), EP 六 和 后 二 (7)， 所 以 
多 是 ? 的 过 份 控制 ,于 是 zz2) 和 (C7) ,gh 之 p(X, J —a, 3, 令 m 固 
定 , 当 xz 时 
Bn =n AX.) 
所 以 jm 如 [入 1 之 HmoCX) ,而 由 gE 各 (41+) 及 靳 收 侣 定理 . 
CLevy), 易 证 





limB [| J sa. 
故 刀 之 imv《X.), 表 令 mw 一 co, 则 (3. 33) 式 得 证 。 


记 4 二 [rT 二 0]; 则 当 wE4 时 ,2s(XD)>g(X) 十 e 于 是 A4 忆 {6 
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由 (3. 33) 式 知 PC4) 一 0。 证 毕 。 
下 面 对 gE (41 4) 构造 一 列国 数 CYCz) 4 25z) 使 ?也 是 
的 最 小 过 份 控制 。 | 
设 JE 声 , 且 YzEB,Tfz) 有 定义 , 令 
GFT) ptr) VY TAXY (3. 34) 
易 证 当 于 为 9g 之 最 小 过 份 控 制 时 ,Gf 二 
引 理 3.13 设 9E BA ) Pe) = lsup gCX.)); 则 
多 rt) n=0,],2,""";7EE 
且 5o 一 mcy(z) 满 足 方程 (3. 27)。 
证明” 先 证 史 ( 所 wz 。 事 实 上 
Gp)—=gtr) YY Tolr) 
一 9(z) ELBx,supg (Xs)] 
=g(x)V E(B, Lm sup gCX,) | 多 中) 一 
BRo) VE, OD 
PUT) 
类 似 地 可 归纳 证 明 +ip(x) 所 Gp(z) ,因此 极限 35(z) 二 lm (x) 存 
在 。 由 定义 可 得 
pr) = YY TO pur) 
应 用 单调 收敛 定理 , 则 
P(r) =g(r) VPCz) 


NimoCX, }> lmgt x ) } ,由 gE BC47) 得 limg(X， ) < 过 co,P. 一 Qa. 3, 这 样 


证 毕 。 

引 理 3. 13 表明 当 gE 多 (4+) 时 ,是 9 的 过 份 控制 ,下 面 的 引 
理 3. 15 将 证 明 当 9€ 哆 (4+ ,4-) 时 ,5 还 是 4 的 最 小 过 份 控制 ,我 
们 还 需要 下 面 的 

引 理 3.14 设 gE€ 沪 (4+), 则 
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lim KX) = limg(X.), Pr—a.s ， 《3. 35) 


且 pFo0) 1 
这 里 T=inf (nO 0X ) EN ) He ,ed 
证 明 只 需 证 ima5(X simg(Xo)。 设 XEB mn 
POX EE POX EE POR,) 
一 E, (supg (Xi) | 多 所 B.CsupgtX,) (多,) 





《3, 36) 
从 而 Hm 2XX,)<supe(%1)。 再 令 moo, 便 得 ln5CX,)<<limgCX,)。 
完全 关 似 于 引 理 3. 12 的 证 明 , 我 们 有 
P(t) =1,rE Be 0 
引 理 3.15 1]1) 设 ygE 才 (4+), 则 Y e>0. 


nr BAX) (3. 37) 
2) 如 gE 到 (4-), 则 
Br) BCX: ) (3. 38) 
且 5z) 是 y 之 最 小 过 份 控制 。 


.证明 ”1) 击 引 理 3. 13,5(z) 满 足 方程 (3. 27) ,由 9E H(A'), 
得 ?C2) 之 co, 因此 由 引 理 3. 11 得 
v7) = BX Bo Xr es + ELCX YT Gy 
因为 2CX, p(X,) 
ECX, M0) SE [supy" CHV rin) ) 
从 而 由 PCT<<oo) 一 1 以 及 E04 ) 知 
Hm Ba(X, yrsw = 
于 是 由 Faton 引 理 
PFEEDCK) Tre) — Bo( Xr) 
2) 当 yE 号 (47) 时 ,一 gE 另 (4+):. 于 是 
ms 区。 Je>o 之 一 到 总 sup9 (Xrsn=0 
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因此 , 当 gE€ Ed ,4 ) 时 , lim B25(X) lss 一 0, 所 以 2x) 二 Bw 
《Xr)。 设 了 为 9 之 最 小 过 份 控制 , 则 Y se 
POXFI LICK eT 
于 是 DIO— BoCXFI BFXE) He) te 
这 里 最 后 的 不 等 式 是 由 于 (fxX) ,入 ,DP.) 是 上 园 且 从 gE 如 
《4 )= 了 EAT )。 - 
是 任意 的 ,于 是 827) 所 了 (2) ,而 5Y) 字 f(z) 是 显然 的 ,所 以 2 
C2) 一 f(z) 是 9 之 最 小 过 份 控制 。 
推论 3, 16 设 yE 委 (4 ,4+),z 是 g 之 最 小 过 份 控制 , 则 Y * 
>0 
P(r)= Eo) 
其 中 z=inf {rn2 守 0.25CX,) gCX,) 二 8)。 | 
证 明 由 gE 各 (4+ ,4 ), 则 #2(x) 二 57) ,t= 二 ,所 以 由 引 理 
3.15, 即 知 
rx}=o( (7) = Eo Xe) =Er(X) 


§ 3.4 4- 条 件 下 值 函数 的 过 份 性 与 最 优 规则 


本 节 描 述 在 全 条 件 下 ,Yo) 与 普 (z) 的 攀 造 以 及 最 优 规则 。 
定理 3.17 设 9E 攻 cd) 则 
DD Vt) 是 g(x) 之 最 小 过 份 控制 ; - 
2 Vr) V(r); 
3 Vr) =r) WY TY (Cx); 
证 明 设 * 是 y 的 最 小 过 份 控制 , 则 
lmv(X limg(X,) 
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由 gES(4-)=>9E 02004-) ,于 是 C( 人 一 2 ,59 一 殉 ,Y TE 
ei 
vr Ev X Eg(X,) 
` 反而 tv() 守 F(z) 之 YCz), 往 证 v(x)S&V (x)， 为 此 先 假 害 gE LAT, 
4 ), 则 由 引 理 3. 12 
T=inf (a 0.v( XK, JLg (CX, +e} 
是 停止 规则 ,而 由 推论 3. 16, 有 
r= Br(Xr) Eg XT V(te 
是 任意 的 ,从 而 zCz) <&V(z)。 
一 般 情 形 下 , 令 F(x) 一 gz) AB, 则 ESL(A7 ,A-), 于 是 存在 
HC 为 (x 之 最 小 这 份 控 制 , 记 
H(z) = sup Bg CX 
则 由 前 段 所 证 
Vor) = | 
w(xz) 关 于 5 单调 一 减 , 令 27 (7) 一 limw(z), 则 Vir) (rx), 
往 证 v* (2) 一 o(z)。 首先 "(2) 一 limYorlr)<&v* Cz), 可 见 。* (x) 是 
?9(z) 的 过 份 控制 ,为 证 它 是 9 之 最 小 过 份 控制 。 设 7 是 yg 之 过 份 控 
制 , 则 fz) 守 gt7) 守 wr) ,于 是 2) 守 (0) ,了 (7) 这 wv* (2), 国 此 5* 
(2 二 p07) F(T) 这 #7) ,1),2),3) 同 时 得 证 。 而 V(r) =2 (2) = lm 
.g(r ,VD)= (2 一 im 一 Imlimgs'y (x) ,4) 得 证 。 





注 5 设 多 (名) 是 .F(Z) 中 进入 Borel 集 初 直 的 全 体 , 亦 即 
YY 7E 多 ,存在 BE 急 , 使 f=inf{x 之 0;X%E8), 则 在 寻 且 4- 条 件 
下 | 


Vz)=supE-gtX, )= supB.9 (CX. ) (C3. 38) 
事实 上 ， 若 令 T=inf{inO. Vx, ) sg 二 2; 则 工人 亡 加 ,在 


A: 条 件 下 
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VOYS=V EVOX)I EEK) +e 
从 而 | 
Vs)—supB.g( Xe) .sup Eg XI < V(x) 

注 6 - 设 yE 吕 (4+ ,4 ,那么 我 们 只 须 对 关于 自然 代数 族 
(gn) 的 停 时 类 来 考虑 最 优 税 止 问题 ,这 里 4 二 《0,1,…,*#), 事 实 
上 ,由 (3. 38) 式 ,我 们 只 须 对 初 遇 时 rE 多 取 上 确 界 ,而 

Cf 一 一 《m6 在 B 千言 Bo 革 _1 谨 BE BE 
所 以 | 

V(x)= sup Bg(X) | 
这 里 了" 一 {rE :fr 一 由 后 经 一 0,1,2……}。 

注 7 设 *%E 红 但 4 条件 不 满足 ， 则 Vz) 不 一 定 是 过 份 晴 
数 ,但 可 证 明 V(Cz) 是 经 中 满足 . 

ir) gtr) 
及 开 ) 之 sup 局 f(X') 的 最 小 函数 。 

事实 上 ,在 后 面 的 定理 3. 27 我 们 将 证 明 当 gE 乡 时 V(x) 是 yg 
《x} 的 过 份 控制 ,于 是 若 f 浦 足 所 述 的 条 件 , 则 fC) sup Bg Xs) 
| V(r), | 

注 8 设 gESC47), 册 BVCXD- 才 Bg(XD)- 之 o0, 所 以 (zx) 
EVCXD) sn 一 0,1,2,… ,于 是 Vr) 守 BV(OX Bg(X), 鼓 Vz》 . 
二 g(z)V Bg(X) YTV Cz) ,因此 V(z) 也 是 控制 GC5) 二 g(x) V Eg 
CX ?的 最 小 过 份 函数 。 

现在 来 讨论 在 4- ,4+ 条 件 下 的 最 优 与 最 优 规则 。 

定理 3.18 设 yE2e(4 ,47), 则 

1) YY em0,rT AinNf{ned V(X ) Eg(X +e}RECe, 六 最 优 现 网， 

2) TA =inf {n>0:VCXDSEgCX,)) 是 (0,P) 最 优 停 时 (广义 规 
则 ); | 
有 如 Pr<co)= 一 1, 则 二 是 (0. 记 最 优 规 则 ; 
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4) 如 状态 空间 是 有 限 集 , 则 是 (0.7) 的 最 优 规则 。 
证 明 1) 由 引 理 3. 12 可 见 Cr<eo) 王 1 而 由 定理 3. 17 及 
引 理 3. 15 知 V(z) 是 gz) 的 最 小 过 份 控 制 , 且 VO) 一 二 F(X) ,从 
而 Bg(X) 这 V2) 一 8; 因 此 是 (6,7 最 优 规则 。 
2) 由 引 理 3.11 
Vz) = BV COX) 

=ElicoV CX BlosreoV CR HEd i CX 
因为 gEZLCA- ,A417 ,V(r 一 Pz); 由 (3.36) 式 ,Y mn 

VCEB eV (XH) Bl BlsupolX,) | 家 

TB [lw Blsupg( X;) | 他,)] 
十 十 (ocr Supg™ CX;)) 
+Blor a:b, Csapg (Xi) |.F,) 
由 于 9E LC(4+), 应 用 Faton 引 理 二 次 则 得 

POs) =V (SB mV CX Ed g Ne ) Bg Xe) 
这 表 间 是 (0,F) 最 优 。 

3 设 PtTo0) 一 1;: 则 由 2) 及 Vtz)=Vtx) 可 知人 是 (0,Y》 
最 优 。 

4) 令 [= 二 {rEBVCz)gCz) 十 后; 则 [1%6, 如 果 吾 是 有 限 
集 , 则 必 存 在 w” ,使 对 一 切 esse ,中 .二 1 于 是 T=7 ,és ,从 而 户 

《<co) 一 1 因而 也 是 (0, 记 最 估 ， 证 毕 。 ，， 

由 上 述 的 结论 2 可 以 看 出 在 假定 汪 。 条 件 下 ,是 下 是 Go， ry 
最 优 的 。 

例 2 设 gE(4- ,4A1), 且 YYE {xE BTy (rx) Sg (5)}, Ty 
《XSD PP. 一 gq.3 成 开 ; 则 (gC(X,) v3,,P,) 属 于 单调 情形 , 停 
止 域 1= {79(z) 9g(2)) ,二 inf{n>0;X,E 全 是 最 优 规则 。 

事实 上 , 令 世 一 9 人 (2 为 报酬 序列 , 则 (Xt | 多) 一 玉 9 
CCX,+1) 1 名 一 9C 和 一 Tg(%) ,如 记 d= {wm Tyg(X) Eg ， 
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则 由 条 件 P.C41) 二 1,Y 4E 0(X.), 存 在 BE 纪 ,, 使 4 二 X71(8), 于 
是 . 
BATgCN, 7 
— EBLE.(laTg(X,) | 1) 
BLE. dv enTg( | ,1 
= B.C townenTy (CX) 
BLBs Tx emgt Xi)) 
bd, x Em9(R:) 
Bl CX)) 
所 以 TgCXD 所 gCX) ,P. 一 a. 85, 这 表 骨 (gCX.) ,多 ,,P.) 是 单调 情形 。 
停止 域 = {xz:V Cx) 29(7)) ,显然 I 三 {7;T9(x) 坟 g(r7)}), 男 
方面 若 Tg(z) 扩 g lz) , 则 有 Q(x} 二 ygC7) ,于 是 不 难 证 得 Vgt7) 二 9 
《az ;从 而 P(x) 二 9g(7) ,所 以 1 二 人 {xT9(2) 才 (2)) ,因此 丰 二 inf {a 之 
0, 所 GE 是 最 优 规 则 ,此 即 32. 4 中 的 s. 
如 同 在 第 二 章 研 究 6, 中 最 优 停 止 一 样 , 王 面 讨 论 上 后 马 氏 链 
的 最 优 停 止 问题 ,对 x 六 1, 记 
枣 .一 (rizrE FS 有 TA 
C= {rrECN A TR GD) = DNF 
sensupe, CgCX,) 1 .) "(7) essupB Cg(X) | 宛 ,) 
Ws) sup br9CX:) "tr sup B09CX) 
定理 3.19 设 gE(47), 则 n 守 0 
1) VC =—ErCX,) ,FEE,; 
2) px)=V XD) TE EP ds. ; 
3) Vz) =V. (5) ,rE PB: 
4) CT) yr) EE 
如 果 gELCA ,A1), 则 
rainf {ma VY (CX yAX) + e), (Ce>0) (3. 39) 
= 15 总 。 





当 cz>0 时 ,是 ke,r.) 最 优 的 * 尔 则 | 
ECX FNP) ETE Pq.s (C3. 40) 
所 -引申 
5) ?是 (0,F) 最 优 , 且 如 记过 20) 一 1; 刚 如 是 (0,7.) 最 优 
规则 。 
证 明 由 gE (4-), 由 定理 3.17,V(z) 为 g(x) 之 最 小 过 份 控 
: 制 , 且 YD)E(4")。 因此 由 Doob 停止 定理 ,Y +E 了 ,V(X 这 
BVCK) | 小 守 B.C9(X,}|.F,)。 从 而 
VOX 7) Ez) (3. 14) 
EV XIV SY, (x) (3. 42) 
为 证 1,2),3) ,只 须 证 明 VCX,) 起 hh(z)。 为 此 先 设 gE 47， 
4+), 那 么 VY ce 之 0 时 ,是 一 个 停止 规则 《参见 引 理 3. 12}), 且 由 引 
理 3. 15 _ : 
VOX = Br VX ) 
因而 性 一 a. s, 有 
VOX)= Br oCXse) em BAX) | 家 十 2 和 (rz 十 
C3, 43) 
由 :之 任意 性 立 得 YCX,) 过 (7z)。 这 和 样 
pz)—V (CX,) 
Cr) = BV CCX.) 
PCr) =P(z) 
V(r) = Cz) 
获 证 。 : 
对 于 一 般 情 形 ,可 如 定理 3.17 证明 的 方法 证 明 % (xz) 实 YF 
C(O) ,从 而 中 () 守 BYCX,) ,最 后 完成 对 1),2),3) 的 证 明 。 
由 (3. 43) 及 1)2)3) 可 见 4 成立。 
为 证 引 , 我 们 第 要 下 述 不 等 式 
VOX,Y 
"15859. 


EE ta ge | OTE {img NX) | ,} 
= Eg 1 ,) 
而 它 可 由 定理 3. 18 之 2) 的 证 明 获 得 。 证 毕 。 

例 3 令 台 ,所 ,… 是 独立 同 分 布 的 配 机 变量 列 ,P(5$== 十 1)== 
psp = 一 1) 二 9 二 1 一 起 二 2 二 2 十 ,十 十 如; 其 中 8 纪 
{10, 土 1, 填 2,…}, 于 是 (X,, 字 ,,P,) 伟 o 是 一 个 齐 次 马 氏 链 , 其 中 多， 
= CX 了 表示 初 值 为 x， 由 ,名 ,导出 的 在 ,=o 
CU.27.) 上 概率 分 布 。 

令 g(x) 一 max(0,z), 容 易 理 解 当 ?之 9 时 ,r = 二 0 是 (0,F) 最 优 
停 时 , 且 『 (一 十 ce 事实 上 , 当 p29 时 ,12& 训 ,二 ?一 9 宕 0, 二 此 由 
强大 数 定律 ,Bm CX, 一 z) 二 十 oo 从 而 5(X<) 一 lmg(X) 一 十 cc， 所 
以 六 一 ce 是 0, 方 最 优 的 广义 规则 , 且 站 (sa 一 十 co,， 现 在 设 p<<9， 
令 芭 一 inf{n 字 0:X 守 J}; 其 中 yp 宇 0, 记 P,{2) 一 Pty 之 oo0)。 如 引 论 
《9) 式 所 证 ,我们 可 证 明 mr 的 终 函 数 为 


= 1 Tn 
ee | 








2qs 
取 * 一 1, 叫 
Pp , 
《 -一 了 7 > 和 
| 9 7? 当 yz 时 (3. 44) 
1， 当 y<z 时 
记 ， 
jy 
nan 4 TY (Cy220) 
| Ts Sy 
记 六 (2) 一 supfv(z), 取 y 一 一 一 一 , 划 y* 是 vO) 的 最 大 点 ,于 
In 
是 
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和 、 
rw 7) ， YY 
[Lr, ry" 

容易 验证 :J (z) 是 g(x} 的 过 / 
份 榨 制 ,由 于 F(z) 是 gCx) 的 Pa 
最 小 过 份 控制 ,又 了 (z)<T | , 
49) ,所 以 六 (一 (0 ,于 是 vt | 各 ve 
"二 是 (0,7) 最 优 售 时 ， 二 ， 
得 对 =< 六 2 人 一 co 人 
0. 所 以 不 是 最 优 规则 , 容 
易 看 出 下 (一 产 (z) 是 一 个 媚 函 数 , 如 图 。 

如 状态 空间 是 有 限 的 ;1962) | 之 o2,5€E 8, 则 由 定理 3. 18，,7 
是 (0,7) 广 闵 最 优 规则 ,下 面 的 例 4. 例 5 说 明了 这 一 点 。 

. 例 4 设 E=1{0,1,2, 怀 ,NWN) ,转移 概率 pfr 妨 一 疡 CC 一 们 部 
: 

pCO,0)=pCN, N=]1 
(ivi 二 二 p(yi 一 了 二 却 
这 里 i=1,2.… ,太一 1, 设 YCr) 是 过 份 沙 数 , 则 由 2 (2) 完 世 DCX1)， 
可 得 
oo 关于 CoGz 二 TD 十 az 一 1 r=1,2,. ,1 

而 ”07 =g(0),vCNy=y 
CN) ,因此 报酬 函数 g(x) 的 
， 最 小 过 份 控 制 就 是 从 上 跨 接 
gz) 且 满足 z(0) 二 g(0),v 
CN) =9(w) 的 西 函 数 (如 
- 图 > ,最 优 规则 穗 是 停止 在 达 
到 状态 pz) 一 xz) 的 时 刻 。 
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当 状 态 空 间 可 列 时 ,最 优 停 时 不 一 定 存在 。 

例 5 设 训 = {0;1,. 呈 1) ,pli 十 1)= 二 1, 令 97x) 衬 0 是 单调 递增 
函数 且 limy(7) 一 koo. 

此 时 9(z) 二 BCsup 9(X) 二 8, 则 Ge(z) 三 区 因此 由 引 理 3. 15， 
最 小 过 份 控制 a(z) 二 ,显然 不 存在 最 优 规则 ,而 三 = 是 (0,7) 最 
优 停 时 , 另 一 方面 ,fT 二 inf {xi 守 0,X, 守 一 2}) 是 C2, 让 最 优 规 则 ,这 里 
em . 

下 面 的 例子 给 出 了 当 4+ 条 件 不 满足 时 ,r 不 再 是 (e,P) 最 优 
的 例子 。 

例 6 设 #={0,1,2,%} ,p00,0) 二 1,80ii1) 一 pli,i 一 1)= 


六 Gi 二 1,2,"), 令 gC0) =1.90 六 二 iy (i 福 1) ,我 们 可 以 证 明 此 时 


sup g CX )) = 00,r=1:2,…。 由 引 理 3. 10, 可 算得 gtz) 的 最 小 这 
份 画 数 w(z) ;500)=10(z) 一 fz 十 lr 二 1,9,-… 对 0 之 1, 二 
{0} ,PTCo0) 二 1,7E 玉 ,因此 Bg(X) 一 1,xE8, 但 另 一 方面 ,Bg 
(CX) =g(2) ,z=2,3,", 这 里 7 二 0, 可 见 它 比 停止 在 所 得 的 路 益 
为 大 。 
下 面 两 个 例子 表明 4 条 件 不 成 立时 V(r) 不 一 定 是 gt*) 的 最 
小 过 份 控制 。 

例 7 设 加 ={0,2,27,-r}, 针 一 CXF., 忆 为 马 拓 链 , 其 中 到 
EF,nR= 1 2, “ : 

l Kt = ZX tt 


这 里 己 ,如 ,… 是 一 列 独立 随机 变量 ,P(E 一 0) 二 地 =P(&.=1), 欠 、 


一 (XXX sP. 定义 为 初始 值 为 z 由 (C$) 在 eCU F,) 产 生 
的 分 布 。 
令 xz 一 一 ?容易 验证 
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BCsup 9 (XI) Bap k++ ra 0 

所 以 4 -条 件 不 成 立 。 . 

容易 验证 (72) 一 gC7) ,xEB, 所 以 g(x) 的 最 小 过 控制 Ytz) 一 9 
Cz) 一 一 z, 但 事实 上 ,F(z) 二 0, 邻 7 一 inf {rn; 半 一 0), 因 为 P(i 之 
0) 二 1,x7E 8, 故 ? 是 停止 规则 , 且 BgC(Xi)= 二 0, 因 此 是 最 优 规 
则 。 而 了 (z) 尖 p(z) ,所 以 VCz) 不 是 gx) 的 最 小 过 份 控制 , 且 BV 
《XiDsSPYCoD 一 一 2 对 于 zx 天 不成立。 . 

例 8 设 X=(%, 多 PD) ,n=1,2,… 7E B= {0, 土 1, 土 2， 
=) 





是 独立 随机 变 共 列 ,县 PCS 二 十 == 方 二 PC 二 一 1 ,4 二 1,2,…， 

令 yD=z; 则 8g(z) 二 gfz) ;所 以 对 任何 2=1,2,… W(x) 一 g(x) 
二 了, 而 gz) 之 最 小 过 控制 ,F(2) 二 g(r) 一 zx, 显然 Pr{limX,= 二 02) 
二 1; 因此 ff)== 十 co1zEB, 可 见 F(2) 不 是 89g 的 最 小 过 控制 ,有 是 r 
(Flim (z), 





$3.5 当 ygE€' 名 (a ) 时 值 函 数 结构 


当 4- 不 满足 时 ,V(z) 不 一 定 是 g(z) 的 最 小 过 份 控制 ,我 们 将 

证 明 当 gE€ 沱 (a ) 时 ,F(z) 将 是 Gfx) 的 最 小 过 份 控制 ,其 中 
Clr) =o(r) VY ECX.,) (3, 43) . 
引 理 3. 20 1) 函数 5(z) 一 mG (x) 是 Gz) 的 最 小 过 份 控 


制 ; - 
2) Fefz)? 一 (rz ,xEE, 其 中 
Pil) = sup EGCX,), (3. 44) 
TEZO 
CAO {TE FT BOCXN)- oo C3, 45). 
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证 明 1) 由 GCXD 守 By (9(X ,BGCX DP Eg( Xm) > — 
ooo, 可 见 GEL。 于 是 由 引 理 3.9,5(x) 是 6G(7z) 的 最 小 过 份 控制 。 

2) 先 设 9(z)<&b<oo, 由 引 理 3.15。 着 令 P(z) 一 HmG"p(x), 其 
中 
: GP EO Y Tptr) ， 
PIT EeupeX,)) 
网 PGz) 才 机 PCX#) ,其 中 世 二 inf fn 守 0;:PCOXDEGCXD) 十 e) ;由 Gp 
(Cf) 守 QG(7) ,可 见 了 Cx) 守 SCx), 从 而 

SEV EEA) He Fal(r) te 

所 以 ,SC(z) Ve (zr), 

”一 般 祖 形 下 ,可 考虑 Cz) 二 G(r) A3, 由 上 所 证 8S,(z) Po (x) 
全 Polx), 这 里 品 (?) 二 lm (Gz))， 由 单调 性 ,9G'(z)S&Vo(z), 令 
>co, 则 可 归纳 地 证 明 lim@0 cz) 二 GCC 所 以 2602) 和 Po(x)， 
再 令 "~cec , 便 得 :8Kz) 委 FeCz)。 

往 证 (x) 污 VeCz) ,为 此 先 证 (8-CX,)) 吕 ,一 致 可 积 。 由 马 氏 性 

S(OXISOCX YI SB: 9 XO— hy(X) | 

于 是 : . 
S- (XI) EB (Cg (Xm | TF,) (3. 46) 
SCX) 是 一 致 可 积 族 , 由 上 屠 的 Doob 停止 定理 (A. 18), 有 
S(T PBSCX) EGLX,) 
所 以 S(T) 守 Volr), 

定理 3.21 设 yE€ 才 ta), 则 

D FO) 是 (的 最 小 过 份 控 制 ; 

2) VCz) =Vo (x); 

3) VO) gr)Y EgCXe) YTV CE), 

证 明 往 证 2)。 由 于 ez 之 9fz) ,内 须 证 FG) 污 Po(z) ,不妨 
设 FCz)<<oo ,首先 可 证 明 对 ER8rtz<cco 有 
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gCX YE—OCX,) pCO. 8, (3. 47) 


GK ) = lmOCX,) 
—limg (CX) V Bg( Xe) 
= lim {gCX) Y¥ BLg (CX) |],]) 


一 引信) 
为 了 证 明了 了 (z) 芝 Fo(z) ,只 须 Y rE 了, 作 一 个 0, EF ,0 这 7 


使 
BGCX) = BX,.) . (3. 48) 
由 53, 47), 只 须 证 | 
EG(X ecm) — bg(X,, fc “(3.49) 
令 
人 + TOC) <cofH Ey 多) CN) 
om) 一 
十 ce， 否则 
记 4 二 {mT(0) 芝 0o0, 且 Bx gCR gC(X1)), 由 马 氏 性 


BGCLX ANT) 
=B, C0 CK) + Lele go) Yr 
= NDT ta XY rem) 
=Bg(Xe io<e 
(3, 49) 式 获 证 ,所 以 Pl(z)=Vo(z)。 由 引 理 3. 20， 恒 知 1 成 立 ， 3 是 
明显 的 。 
注 9 在 $5 中 将 证 明 , 当 yE 儿 时 ,rz)=FCc), 因 此 由 本 定 
理 , 当 8yE 次 人 a -时 
VO) = VY Bg CK) VTP Cz) (参见 注 8) 
注 19 由 (3.47) 式 及 PKz) 一 rz) 是 如 的 最 小 过 份 控制 , 故 当 
P,(t 宇 9) 二 1 时 ,有 
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— ooCEV (XO) EEVA) EB (Xe) EY (7) 
(3. 50) 
且 如 果 了 是 璃 及 可 测 函 数 且 控 制 9, 且 Y 7ECC9) 
EFCOX) EP) 1 (3.51) 
则 从 BgCX 二 F(z) 可 得 FC) 拒 fCx) ,所 以 由 (3.50) 须 知 V(z) 蚌 满 
是 (3. 51) 的 控制 g(x) 的 最 小 函数 。 


3.6 正 由 函数 :4 条 件 下 什 函 数 的 结构 与 最 优 


定义 3.4 设 8CF, 消 数 fE 才 称 为 是 正则 的 ,如 果 Y TE 

如 ,BftX,) 有 意义 , 且 对 一 切 满足 Pr 一 ] 的 fT,o 全 上 ,有 
BAOFCOXN IFIPFHE) Pas IER (3.52) 

如 果 了 是 中 正则 , 且 Y rEB,fC) 庆 glx), 则 称 f 了 为 g 之 # 正 则 
控制 阔 数 ,简称 .正则 为 正则 。 

如 设 了 为 y 之 正则 控制 函数 , 且 对 任 一 个 yg 的 刀 正 则 控制 
函数 已 有 flz)schz, 则 称 了 为 9 之 最 小 用 正则 控制 函数 。 

当 9gE 喇 (4 时 ,9 之 最 小 正则 控制 函数 与 y 之 最 小 过 份 控 制 
明 数 是 同一 的 。 事 实 上 , 若 了 为 了 ?之 最 小 过 份 控制 , 则 由 引 理 3, 5， 
了 为 g 之 正则 控制 。 如 另 有 为 g 之 最 小 正则 控制 , 则 zw 另 一 
方面 ,由 正则 性 可 导致 过 份 性 ,所 以 7 所 gp. 因此 9E 吧 (4 ) 时 ,两 
者 是 同一 的 。 例 ?. 例 8 表明 当 4 条件 不 成 立时 ,过 份 范 数 不 一 定 
正则 , 值 泪 数 Y(z) 不 一 定 是 zy 之 最 小 过 份 控 制 。 

下 面 的 定理 将 证 明 ; 当 9E 咖 (4+) 时 ,PKz) 是 9 的 最 小 字 正 
则 控制 ,$5 将 证 朋 当 gE 党 时 ,VY (2) 是 5g 的 最 小 509) 正 则 控制 。 

定理 3.22 设 ygE 才 (A+ ), 则 

1) F(z)? 是 9y(z) 的 最 小 有 正则 控制 ; 

DV 
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3) Fr)=gtr) VY TV (rs 
4) F(z) 一 lim lim lim@'g:(z) | 1 (3. 53) 
其 中 ,W(x 二 (g(r) BD Yao0 ,b>0. 
证 明 了) 令 y(f) 一 g(r) Va,aD V(r) = supgeCX,) ,并 记 
[5 C= dim Frzy。 显 然 
(TV EV Cr 一 [ee 
ce ) ,由 定理 3. 17 


Pts) = =g 7 VY TV (7) «3. 54) 
因 YCr) VY (Cr) 及 BCsupe™ CX.))< 之 oo ,由 单调 收 伍 定理 得 
V(r) YT. (x) 《3. 55) 


由 (3.54) 知 YCx) 是 这 份 的 有 是 属于 至 (4-) ,由 引 理 3. 5 可 知 ， - 
Yt osE 人 FF ,P(r 这 0)= 二 1 有 . 
四 3.56) 
从 而 又 VAXODSEBVAXOEV oo gE BA ,YS 
V2) ,让 下 Fe 对 任何 *E 宁 有 意义 。 在 (3.56) 中 令 a 一 一 oo， 
便 知 Po 是 之 正则 函数 。 
2) 汶 证 明 Fr) 一 Fo 一 zy 只 须 证 明了 (srCcJ 为 此 


令 

v=inf {m0 . CX )AEo CX ) Te} 

=inf {m0 V(X ) CX) |e} 

nf 0r. (yc 直人 

并 证 明 Y ce>0 

P(r <co) 一 1 (3. 57) 
且 . 

Vo) Rr. CX ) (3. 58) 


如 上 述 两 式 获 证 ,; 则 VY, (zg. (Xr ) 十 e, 自 而 ,C2) 才 Vr)。 
函数 gE 党 (4- ,47), 由 定理 3.17,V.(Cz) 是 gx) 的 最 小 过 份 
。167 。 


控制 ,由 引 理 3. 12 





. P(r<o0)=1, xEE (£3.59) 
而 从 推论 3. 16 
V(x) = ECX) (3.60) 


显然 所 0 和 Th (Casass0) ,由 引 理 3.5 
BV(XA EBV (CX) EV Lx) 
由 (3. 60) 
Yaz) 一 六 Fa<Sb<S0 
令 gr 一口 , 则 由 4+ 条 件 得 1 
F。 (=BV. (CX), e000 3.61) 
由 的 定妆 
-一 心心 
< Cr) 
bg NX) e 
一 so Kat OTe, BegoC Xo Fryexsey>r 
BP (gCXA I EN + OC. 
其 中 OC (supg*(X,)) 十 e<oo0, 于 是 
Plg (XI ED ETC VC /0p — 00) 
| (3. 62) 
往 证 C3.57) 式 。 注 意 到 在 fo:vCX) 守 中 上 
CX) He Xs) er, (Xo )} 
所 以 在 {@:9Czxo) 半 8} 上 ,从 而 WF 实 区 ;从 而 j== 式 ,因此 
P(t <oo] 
P(g( Xe Bb to0) | 
=P,(g (Xx ) D1 00) 
其 中 第 二 步 是 由 于 PCot<oo) 守 P(ri<<o0) 二 1。 
往 证 (3. 58) 臣 ,由 (3. 62) ,存在 一 个 子 列 (4) ,6 一 一 2, 并 
* 168 。 


一 fs 期 有 
lmtp ey 一 0 
. 由 (3. 61) 式 
上 。(3 一 Bl rl = ‘Xz 十 Bloea,e ys,) 


a 


> CX ) El > CX the er. CX ) 
由 4+ 条 人 忻 玉 Fatou 引 [ 理 | 
Vm)EEF. CX ) 
于 是 (3. 58) 得 证 ,从 而 Y.(x) 一 V(x) 一 Y(z)。 由 (3.55) 知 3) 成 立 。 
4) 定理 的 最 后 结论 可 由 下 面 的 引 理 3. 23~ 引 理 3. 24 给 出 。 
引 理 3.23 设 gE 才 (4+) ,pz) 一 到 (sup 9g(X)) ,Gp(2)=9(z). 


VY Totz) ; 则 





V2) =limG"ple) 《3. 63) 
证 明 全 52) 二 Jim 人 mplr), 并 记 
Pe LE) =E.(supg.( X,)) 
GP CE) = gr) V Tq, C1) 
显然 Gp.(7f) 关 Cp(z), 因 为 gC(4- 4+) ,由 引 理 3.15,V.(z) 和 A 
Sup Bg 《二 = lm (CF) 
由 定理 3. 22 之 证 明 1 
V (2) = limV,(s) 83.64) 
因此 VO 之 limGgp(lz) 一 5(z)， 而 由 (3.55) 式 
GV 2) =) V EV C2) = C2) 
因此 
太一 名 上 (大 名 oz ,于 是 VC)5(z)。 所 以 
VCO) = (7) = limG pr) 
注 11 由 定理 3.22 及 本 引 理 ,Y 9 和 殉 (4+) 


VO = lim Fx) = lim limG gp, (Cr) 


—ma- 
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《3. 63) 的 结果 只 要 求 gE 多 (47), 而 引 理 3. 13,3. 15 的 同样 式 于 
要 求 9E 吕 (4 ,A1)。 
引 理 3. 24 1) 设 gE€ 8, 风 


Vr}= mi . {£3,653 
办 ae 

rz) = lim lim Hm gr) 《3. 667 
所 . : 


其 中 ,*(z) 一 sup Brg: CX:) fr) = gr) hb 


2) 设 gE 祝 C4+), 则 
V lr) = tim Vr) (3.67) 


lim lim Lim @"g: tx) 


El An 


Ylry 一 lim limlimQ"g (xz) (3.68} 


由 一 on 


lm tim img Cr) 
证 明 由 (3. 64) 式 ， 一 lim Vtr), 而 9x)EL, 故 由 引 理 


3, 10 之 (3.303 式 ， 
rz) = 1im limlim 人 gz) 一 ， lim limlim@'getz) 


1 为 证 1) 及 (3. 68) 之 第 三 式 ， 先 证 (3. 65) 式 , 令 
- C “ C7) = limr (ry 
显然 六 (zs 大 cz 。 另 一 -方面 ,对 TECO); 则 如 [ECX)D -之 co, 由 
单调 收敛 定理 得 

Eg AX) BgCX.) {bh— oo ) 
但 BC BX zy 所 以 上 (zs 
Cz), 从 而 (3. 65) 式 得 证 。 由 (3， 68) 之 第 二 式 , 广 (oz 一 lim lim@'# 
(z)。 所 以 

Vz) = lm (zs) = lim lim JimG Cx) 证 毕 


| 


下 面 的 定理 推广 了 定理 3. 18. 
定理 3.25 设 9E 王 (4+1, 则 
+ 17f0， 


1 站 er 一 inffn0FCXDys9CX) 十 中 是 fo 护 最 优 规则 ; 
2) rainf(n 尝 01VCX.) 渤 9CX,)) 是 (0,7) 最 优 停 时 ; 
3) 如 户 (m<co) 一 1, 则 是 0: 六 最 优 规则 ; 
4) 为 了 mr 是 (0,P) 最 优 规则 ,只 需 
im 杀人 一 一 5 PpP—as 1EE 
证 明 由 引 理 3. 23,V C1) 一 82) 和 一 limG"p(z), 而 由 引 理 
3.14,PiCr< 之 00) 一 1, 于 是 由 
BX EV CX — Er (re 
1) 一 3) 得 证 。) 是 明显 的 。 
注 12 设 yE. 殉 (4+) 
yz) —e sssupEh (yt Kr) | ,) 
性 了 . 
V2) = sup EgtX:) 
rE CO 
则 如 同 定理 3.19, 也 有 
VF Cr) EX 
pr) X,Y 
证 明 由 FFC) 的 多 正则 性 , 易 证 六 Ge) 扫 扩 X。 往 证 相反 的 
不 等 式 , 如 9ELf4 ,4+), 则 如 同 定理 3.19,VCXD 和 F(x) 成 并 ,对 
于 一 般 情形 , 今 g(x) 二 g(xz) Wa, 则 VD= lim V, C7) ,其 中 Yatlzx) 是 


相应 于 gaz 的 值 尔 数 , 于 是 | 
VCOX I EV CK I esssuph. (g(x) VY al,) 
rE CL tp 


V(X,) esssup lim ELg (XO VON ,J=%() 


1 


8 3,7 一 般 情 形 下 值 函 数 的 正则 性 


定理 3.26 设 8E, 则 
* 17I 。 





1) Vz) 是 gtzx) 的 最 小 5t9) 正 则 控制 ; 
2》 VD =V a); 
3) Vtr) = Jlim lim lim tg Cr), 
4 如 果 gE 儿 , 则 VD 二 g(r) TY (7)。 
证 明 1) 由 下 理 3.24,7 (一 im 六 (z) ,注意 到 9 (DJ E 党 
《4+》, 由 定理 3. 22,Y rz,0E D9) ,P(r 守 0) 一 1,7EB, 有 有 
BMCXN | FI EWCX,) 《3. 69) 
因为 六 (让 这 一 gC) 而 本 (P(X ) 碟 有 Cg(X))- 近 0o0, 认 在 
《3, 69) 式 中 令 5>oo, 则 得 V(r) 是 B09) 正 则 的 ; 
2) 令 zEG5C9), 则 
EXIEP(r) = (7) 
令 5=00, 则 1 gCX,)<<V Cz) ,于 是 2) 得 证 , 若 男 有 了 为 g 之 5(g) 正 
则 控制 , 则 Y rE Ctg) . 
BgCX YEB SC NEICzY 
于 是 kz 一 PFCsSTo ,全 见 VCOX) 是 g(x) 的 最 小 509) 控 制 ; 
3) 设 yEE, 风 7 二 1 ECC9) ,于 是 由 C3.69) 式 ,V(r7) 之 VCXI) 
二 ZV (7) ,从 而 
Vx) YY TY Cr) 
而 另 一 方面 ,由 Ye)E 到 (4 ) 及 定理 3 22,P (7r) g(r) V TW 
(z), 令 5->co 则 得 
FCzDs9Kz) VY TV Cs) 
二 是 4) 得 证 ,3) 则 由 引 理 3. 24 而 得 。 


3.8 值 函 数 V*(z) 与 of 的 收敛 性 


人 2 讨论 了 有 限 情形 ,证 明了 在 (9) 路 *(z) 一 0*g(s), 且 
*，172 。 “ - 


二 inf{ 0SnN:9CX) 二 V(X,)) 是 最 优 栅 则 。 当 W 一 oo 时 ,在 
在 极限 
“(7) = limr CI) = lime” 
而 且 PTI) = VY TH (CE) 9EL, 则 
《一 8 MTP (x) 

且 请 CDSYfz ,所 以 自然 要 向 何 时 YC(z)==V* (x), 何 时 o 是 必 ， 
让 或 00, 中 最 优 ? 例 8 表明 ,一 般 说 来 V(x) 了 VP (2)。 

定理 3.27 设 yE 纪 , 则 

1) Vtz) 是 g(x} 的 最 小 CC9) 正 则 控制 , 且 是 y(z) 的 过 份 控制 ; 

2) Vz) 二 lmV*(z) 是 9 的 最 小 过 份 控制 。 

证 明 1 是 定理 3. 26 之 1) 与 4) 的 绪论; 

2) 由 于 让 (x) 是 yg 的 过 份 控制 ,大 V" (rz) 也 是 8 的 过 份 控制 ， 
若 了 是 9 的 另 一 过 份 控制 ,网 fr) 六 9Cz)V THO) 守 Cz), 从 而 了 
(C7) 守 g(7) ,f(z) 宇 VF* Cx), 国 此 VY* Cz) 是 9 的 最 小 过 份 控制 。 

何 时 Fa 一 F 《2z) 呢 ? 

定理 3. 28 1) 如 果 gE 64 ), 则 Ps)=V (7) =V (x); 

2) 如 果 y9E& (44 则 "全 lim 是 (0,W) 最 优 ; 当 0 之 
oo,PP 一 5 成 立时 ,o' 是 0,[ 仆 最 优 规则 ; 

3) oe =inf {rn 0 CX.)—q(X,)}。 

证 明 1) 由 定理 3. 27 ,六 (zx) 是 3y(x) 的 最 小 这 控制 ,而 由 定 
理 3.27 知 FD 一 Fc) 是 9(x) 的 最 小 过 份 控制 ;所 以 V(r) 二 F(x) 
一 Pr， 

2) 在 [o < 近 ce] 上 ,limg(Xo 一 多 Xe) 由 Fatou 引 理 

Vr)=V" (ry 

= lim Eg(Xs,) 





EE, limg( ze ) 


me 
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Eg Xo No ce) BE, limg (Xee" =e) 

=Eog(tXo* ) . 
因此 s* 是 (0,7 了 ) 最 优 的 ,而 当 Po' 之 0) 二 1 时 ,上 式 中 第 二 项 为 
0, 从 而 o* 是 (0,[ 仆 最 优 规则 ; | 

3) 令 5 二 inf {2 这 D0" CA) 二 gC(X,)}。 显 然 从 VCXO 
CX) ,可 知 oA5, 于 是 o* 扣 #5, 往 证 0' 关 0. 令 wwE1o 一 rj]; 则 gy(X, 
C6) "VOXAG0)) ,Qisen 一 1, 因 此 对 充分 大 的 六 (依赖 于 几 )，9 
CEAO) VNAKCO))., 于 是 (C0) 守 n,g' (ow) 之 0(6w) ;如 果 5 
Cw) 二 o0; 则 对 一 切 0,9CX) 之 V(X). 于 是 对 充分 大 的 NN 及 有 
soon 因而 ceo) 于 是 of 一 co 成立。 证 

注 12 这 里 =* 即 定理 3. 18 中 的 mm， 

定理 3. 29 设 yE (47), 并 县 假定 存在 最 优 霓 则 ,有 目 V(x) 
co0,4 扎 吕 , 则 go! 必 是 最 小 的 最 优 规 则 。 

证 明 因为 +* 是 最 优 规 则 ,Bg CX) 半 一 co, 县 V(r) 一 到 gq 
(CXCBVCX) ,由 定理 3.27,V (Cz) 是 CO) 正则 的 , 放 EVCX,*) 
F(X) 之 00, 从 而 

— ooCBy(Xr EBV ) =V(r) oo 
队 而 gCX 一 VCX, Pa. srEB, 由 于 gES(A-) ,YT() =P (7) 
二 V* (#) ,因而 

oC—inf {a2>0,F* (X,)—=g(X,)} 

=inf {OV (X=,))} 
可 见 o* 委 7" ,由 引 理 3.5,BVCX) 扩 BVCX* 所 以 
| VD) BX EBV CX VEBV CX ) = Bg Xe). 

这 表明 “是 量 小 最 优 规则 。 

注 13 如 巢 定 理 中 “是 广义 最 优 规则 ， 则 是 最 小 最 优 的 广义 
规则 。 
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注 14 在 9EcG(4 ,A*) 条 件 下 ,二 inf {x 守 0;g(CX.)》 TV 
CX.) 蚌 最 大 最 优 的 广义 规则 。 事 实 上 

EPH FFE OND NF ) = BX) = XE) 
因此 由 定理 2. 45 及 引 理 2. 59 可 知 Ko 是 最 大 最 优 的 广 文 规则 。 


§ 3.9 函数 方程 f(x) 二 g(xz) VY TFCz) 的 解 


请 数 方程 
Fr) g(r) Y TFCr) C3. 70) 
的 解 就 是 9(z) 的 过 份 控制 , 它 的 最 小 解 就 是 最 小 过 份 控制 , 当 9E 
B(47) 时 ,V(x) 就 是 (3. 7 人 0 的 最 小 解 , 当 9yE 纪 时 ,(3.70) 的 最 小 
解 为 "(x) 和 A iimV* (7) 它 不 一 定 等 于 YC(z)。 而 定理 3. 26 表明 上 
Cz 总 是 (3. 70) 的 解 ,因此 当 (3. 70) 的 解 唯一 时 , 它 的 解 便 是 r 
《7)。 所 以 为 了 求 得 YCz), 自 然 要 间 何 时 C3,70) 的 解 唯一 ? 而 当 (3. 
70) 的 解 不 唯一 时 , 哪 一 个 是 V(x)* | 
我 们 将 证 明 (3. 70) 的 解 总 是 某 种 特殊 形式 最 优 停止 问题 的 值 
通 数 ,因此 它 确 是 最 优 停 止 问 题 的 特征 方程 。 
记 Pn,z,1) =P.(X,E 7 为 齐 次 马 氏 链 CX,) 的 转移 炒 数 , 令 4 


CaF, 门 = 二 22pPti zr TEB,A=1,2,.. 
假定 在 可 测 空间 (8， 和 各) 上 在 在 一 个 非 负 测 度 A， 使 得 对 任何 
汐 可 测 函 数 了 ,有 
ff acnasdy) ~ | Fd) Cn > 00), z ER 
(3.71) 
现在 来 讨论 (3. 70) 解 的 鸭 一 性 问题 。 
定理 3. 30 设 巨 (z) ,所 (2) 是 (3.70) 的 两 个 解 ， 都 属于 乡 ， 县 
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在 某 个 禾 可 测 集 入 三 8 上 重合 ,同时 
sup lf (2)— f(z) |<oo {3.72} 
则 当 nCENAD 1 时 ,f(x) 二 f(r) YER. 
证 明 记 702) 王 | 广 (2) 一 f(x)|, 由 (3.70) 易 证 
r(2) ETr(r) (3.73) 
事实 上 ,不 妨 设 Cx) 六 所 (7) ;如果 TH 有 Cz)Sg(tr) 或 g(x) 之 ?Tf 
C2) ,网 所 (7) 二 glz) 或 及 (2) 一 Thu(z). 在 前 一 种 情形 ,将 导致 f(z) 
志 fCz) 的 牙 盾 ;在 后 一 种 情形 ,可 得 万 一 天 一 了 (一 疡 )， 《3.73) 获 
证 。 现 在 设 T7977 ,从 而 9 VY Th 一 了 一 0g Tf 一 Tf (3. 
?73) 也 成 立 , 于 是 - : 


rz) < Tir(x) = rp dy), i 二 1,2,-.…",n 





过 rp pn,z ,dy) 
令 z~oo 出- 
supr(z) 近 [ riyay) supr CW) “At 有 一 从 ) 


由 “8 一 各)<<1, 推 得 (三 0。 证 毕 。 
推论 3. 31 ”如 W zEE Ps AV Teel, 则 在 有 界 可 测 函 数 
中 (3. 70) 的 解 唯一 。 


证 明 因为 wezAO 一 二 pwA(CA9<1。 
推论 3,32 如 9 有 界 ,f 是 (3.70) 的 有 界 解 ,是 在 有 可 测 集 
和信 上 了 =gyx(EA) 达 1, 则 了 是 g 的 最 小 过 份 控制 。 
证 明 因为 /与 Vt(z) 都 适合 (3.70), 而 且 V(z) 是 (3.70) 的 最 
小 解 , 故 在 六 上 ,gix) 一 了 (2) 守 Vz) 守 g(x) ,因此 由 定理 3. 30 知 f 
二 7 为 gy 之 最 小 过 份 控 制 。 | 
、 十 面 的 定理 给 出 (3.70} 解 的 唯一 性 另 一 种 判别 法 。 
定理 3.33 设 无 ,fi 是 (3.70) 的 两 个 多 可 测 的 解 , 且 
"776. 





吕 (sup 六 (和 ) 一 让 ( 司 ) < ooyzEE 吾 (3.74) 


Ye 之 0, 存 在 八 .E 珂 ,使 

i) 当 zE A 时 , |F (C2)— f(z) <a 

i Pp 有 无 限 多 个 n,XEA)=1,rE 
则 f(x) 二 f(r) ,EE. 

证 明 记 ?+Cx)=|f1(2) 一 所 (2) |, 考 虚 过 程 R= (人 CE 多 
POORSo rEB,H. TIMUR TX ) = Br(X) = Br( NX,)] 
多。 1 可见 | 

0<rCX RRC | 1) 
这 表明 & 是非 负 下 圾 ,由 (3. 74),1limr(X,) 存 在 ,由 可 知 iimr 
CR) 0 Pa 5, 而 07) TT) =r(X) ,由 Fatou 引 理 ,Y = 
EE 
9) SimBr(X, )< 有 (有 CC) 一 0 
推论 3. 34 令 信 = 所 A,, 且 (存在 无 限 多 个 使 XE 和) 二 


1, 则 在 定理 的 娟 件 下 ,外 二 fe- 
下 面 讨论 (3. 70) 有 多 个 解 的 情形 F(x) 的 特征 。 
定理 3.35 设 gE2(4 ,A+),f 了 ECA+) 为 (3,7 人 0) 的 解 , 则 了 
(z) 二 F(x),zE 的 充 要 条 任 是 
Hm fCX,) =limg(X.) 《3.75) 
证 明 必要 性 。 由 定理 3.17,Y 是 9 之 最 小 过 份 榨 制 ,因此 由 
引 理 3.12,(3.75) 成 立 。 
充分 性 。 置 二 inf (x 守 0, CX) 坊 g(X,) 十 8) ,82>0, 则 由 (3.75) 
易 知 ,Pr<co) 一 1 由 ELCd4r) 故 六 zi)<oo. 由 引 理 3.11, 玉 了 
《Xeon 一 zz。 念 mcoy 由 Fatou 引 理 :如 FPCXr FFCz) 于 是 
VOBoCX) — eB fA af) 
因此 F(z) 这 17) ,而 gE 人 (C47)， Y 是 9 之 最 小 过 份 控制 ， 元 V(x) 
f(z) ,所 以 f(z) 二 Vr) ,rE RR. 证 毕 。 
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到 现在 为 止 ,我 们 总 假定 条 件 成 立 , 即 假定 9CX- ?一 mg 
CX.), 现 在 假定 9(X%) 一 9,7 是 @- 可 测 的 随机 变量 ,其 中 oo 一 
介 @ ,而 二 eX.,X44 ,1) ,和 且 假 定 刀 1 之 co,5E 双 , 邻 . 
V2) = sph (gCX) em t Wee ) 
我 们 将 证 明 ， 只 要 将 ys) 疏 为 9Cr) 一 gir) YW By 则 tx) 便 是 5(z2) 


的 值 函 数 ， 
定理 3.36 设 gES(A-) By 之 o0 ,z+ 蕊 上 8 则 
Vx) = sup BoCX,Y C3,.76) 
te 
且 
FV C2) = (Cr) V TY (7) {3,77) 
证 明 由 定理 3. 26 
Pelz) A sup BtX) = suD Eg X,Y 
ET TE 
令 . 
ro), 人 本 
(Ko) 一 
二 co， 否则 
则 ， 


F(z) 一 Sup Bs{9(z.) 1 osss.n TF Bx nln ys } 
一 SUP Eg CE) gs ys ?9 + Erni yr, 人 
TE 日 ’ 
= supL EgCr do co B= 
TE 
.sup 本 (gz tt Woe) = V(r) 
男 一 方面 ,因为 #7) 守 Bj 这 一 00 ,于 是 
lmg (CX) tm. | 
于 是 | 
VY Cz)= supB: (CHAR ecm) Lmg CX YH me 
upE (9g Xe tm Vs) 
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所 以 F(z) 二 V(x) (3.76) 得 征 ， 
往 证 (3. 77) 式 ,由于 5E 综 (4-) ,由 定理 3. 17 
F(x) =P(r) = Vi(z) 一 9(z)V 吕 1VIFCz) 
但 FD 字 y(O 下 9 坝 29 一 百人 所 以 
(一 8 YTV (7) 证 毕 
上 面 定理 表明 7,(z) 满 足 方程 (3. 70) ,下 面 定理 表明 (3. 70) 的 
解 总 可 以 表示 为 某 个 PCz)。 
定理 3.37. 设 g€E2(4 ,A+), 有 了 ECA*) 满 足 (3.70), 则 
亡 可 表示 为 
f(2) = sup Be (gCX ecm + Hen) (3,78) 
其 中 ,x 一 lim 了 (CX,)，。 | 
证 明 因为 是 过 份 浅 数 ; 且 7E (4 ), 因 此 极限 9= limf 
CX,) 存 在 , 令 57 二 g (x) Vw, 往 证 
f(z)=5(7) VTL(z) 《3.79) 
由 Fatou 引 理 可 知 f(z) 疡 及 dmf(X.) ,因此 
POD EFCXD TE Ba lmf(X)) By 


且 
IV TF gC YY En TH gC) V THF) = f(z) 
往 证 . 
limf CX) = limg(X,) pas xEE (3.80) 
我 们 有 


lim CBx, lim FX)) 
一 in 总 (入 mf CX) |),) 
=limkdimf (XxX) | 到) 
一 :月 


“IT79 。 


因此 
jimgCXJ 一 lmtg(XJV Br lmf (XY = = limf CX.) 
由 于 3EL(CA ,A+),fE LCA+), 从 定理 3 35 部 知 ， TCD) 一 7(z) 全 
SupE, pCX,) —V, (ry 
定理 得 证 ， 
定理 3. 26 表明 , 当 9E 有 时 ,rz) 是 9 之 最 小 区 (9 正则 控制 ， 
因此 在 解 方程 (3.70) 时 ,可 用 它 来 辨认 哪 一 个 解 是 Ffz), 下 面 的 
定理 给 出 方程 (3, 70)? 的 G(x) 正则 控制 的 特征 。 
定理 3. 38 设 9E 有 喇 (e-), 了 是 (3.70) 的 解 ,如 果 它 又 是 yfz) 
的 有 (六 正则 控制 , 则 
了 (2 一 8 了 YY 可 -由 天。 )Vr7GD 《3, 号 1 


式 中 Ce 一 img(z); 反 之 (3. .80 的 解 必 是 (3.70) 的 5(9? 正 则 
控制 的 解 。 

证 明 如 果 了 是 8g 之 5C9) 正 刘 控 制 ,那么 由 yzEB(a), 可 见 
ocEVCg) ,由 正则 性 得 电 gCX 入 FCXw) 过 fz), 因此 (3. 70) 必 
满足 (3. 81) 。 反 之 , 若 了 满足 (3. 81) , 则 

7) 守 g(X%) 汪 一 到 Jimg- CX ) 
令 9 二 一 limg 《X44) , 则 f(z) 之 名, 于 是 

下 人 Ex I= Bl ) PC—a. 8 ZEE 
可 见 《fCX) ,他 ,,P.) 是 控制 一 个 正则 挝 和 的 上 鞠 ,于 是 Doob 停止 定 
理 成 立 , 由 此 即 得 f(x) 是 ytz) 的 Cg) 正 则 控制 。 

往 证 (3. 81) 的 解 也 满足 C3.70) , 设 xEEB;, 而 总 9 (Xs) 过 oo , 则 

上 
TAO — BFCXODPEI XN) Eg Xe) 
可 坊 (3. 81) 的 解 必 满 足 (3. 70); 如 有 gCXs) 二 o0, 则 由 (3.81), 了 
(二 二 co0; 耐 且 从 TF(7) 守 gCX) 二 00; 可 见 (3.70) 成 立 。 
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$ 3.10 ”随机 化 停 时 与 停 时 的 充足 类 


由 $ 3.4 广 6 看 出 ,对 于 马 氏 和 链 的 最 优 停 止 间 题 ,我 们 只 要 考 
虑 关于 多 一 5(Cxa exX) 的 停 时 类 ,这 个 事实 引导 我 们 讨论 
下 述 问 题 。 

设 (8, 多 ) ,是 可 测 空间 ,一 (多 PaE 全 蛋 自 然 
数 ) 为 取 值 在 状态 空间 人 ,党 ) 上 揭 马 氏 链 , 记 ( 有 到 (多 ) 为 美 于 
《多 光一 停止 规则 的 类 , 则 

Vr)—sup Bg NX,) 

其 中 上 确 界 取 遍 使 得 Eg CX,) 有 意义 的 TE ( 久 )， 

定 六 3.5 假设 安 ”的 子 代数 族 .多 二 Cv) ,hEN 满足 


) 宇 下 CT， 
ii 假设 (4) 是 定义 在 of UF: ) 上 概率 测度 , 且 Y 4E 
(U7), 有 








Pr (A)=P,(A) . (C3. 82) 
则 称 关于 (多 ) 的 停 时 类 了 CF") 为 了 (7) 的 随机 化 ,于 是 2 
CF "入 ) ,如 果 记 
《2 一 SUP BotX,} 

这 里 上 确 界 取 刀 使 得 Eo(X.) 有 意义 的 TE .FCF "*)。 

显然 (x) 法 F(z) ,注意 到 定理 3.26 之 3) 
Va) =lim lim ima) 
VV? C2) = lim lim limoO’'"g (ry 


br Su 一 一 cn 放 -本 3 


其 中 ,QO'g(x) 一 gCx)V 9CX)。 | 
由 (3.82) 癌 向 ,Br gC 一 gqg(X1) ,于 是 V* (rw) 二 F(x), 因此 
» lal 。 


.我 们 证 明了 
定理 3. 39 设 gE 声 ， 则 Vr* tz) 二 YCz), 亦 即 随机 化 停 时 并 不 
改变 值 函数 。 
显然 如 此 ， 停 时 的 随机 化 还 是 有 意义 的 。 
例如 ,对 某 个 zEB,F(z) 一 十 co, 最 优 停止 规则 不 一 定 属于 
FCF)&F ,但 却 属于 CF"), 事 实 上 由 r(x) 二 十 00, 必 存在 
一 列 (nD) :EA ,snE9( 祈 ), 使 得 十 0 一 YCz) 一 sup Bg《X), 不 失 
一 般 性 ,假定 ByCX,) 守 2" 
设 p=plw%) 是 一 个 可 测 随 机 变量 ， 取 值 i=1， 2,°% HH PCple) 
二 让 二 2 此 时 人 @ 
Ps: ([plo)=i]) NN A= P(A4) 2 
这 里 4EaltU 匀 ,定义 随机 化 的 时 间 | 
Tm)=T0), 当 四 和 [apfo) 一 划 时 
则 显然 有 | 
Bb: gz.) = 2 BgCX,)2-: 一 十 co 
又 如 我 们 要 寻找 一 个 停 时 Tt 使 到 FCX) = 二 0, 但 是 假定 在 
3FK 多 ) 中 没有 一 个 停 时 满足 上 式 , 而 却 存在 rm 使 及 FJCX，) 一 a 
oA) 二 如 >c, 我 们 可 取 这 样 的 荫 视 化 停 时 , 设 六 和 是 一 个 
多 可 测 的 随机 变量 ， 满足 


p: DE 








Ps pl) = 总 
令 r (o) 一 so) ,如 要 we [e(o 一 柯 ,i 一 1,2， 那么 只 要 Pz CL p(w) 
一 作息 二 Pr C4) Pr (p(w) 二 让 ,就 有 B58FCX.*) 二 0. 


中 或 者 假定 (2, 所) 是 驯 “ 丰 富 ”" 的 ,或 者 用 新 空间 (如 ,多 代替 69. 到) ,其 中 站 一 
XD =X! 而 (9* , 信 ') 是 由 随机 化 样本 w* 组 成 的 可 测 空 间 。 
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没 着 随机 化 停 时 ( 停 时 类 的 扩大 ?的 反方 向 讨论 问题 ,我 们 外 
然 要 提出 停 时 充足 类 的 问题 。 
定义 35.6 设 非 降 代数 6= (多,)， ae -fr， 满足 多 己 祈 ,, 称 
3 (6 和 tr 是 关于 人 的 停止 规则 } 为 停 时 充 是 类 是 指 
Hp, 2. qs ) 一 . sup, 2 A) 
定理 3. 40 设 光 = CX,, 信 ， ,P,) 3 和 -人 是 一 个 马 氏 链 ， gEB 
(C47) ,0 二 (名 ),nEI 是 一 个 非 降 代 数 族 , 名 千 . 玉 ,rE 人 ,如 果 
了 gf,) 是 党 基 可 测 的 ,n€ A; 
ii) 对 于 任 一 个 多 ,1 可 测 的 随机 变量 2 一 26),8.12| <covz 
有 
BE FIT—BALG) pas rEBnEN 
: C3.83) 
出 有 (ce 使 是 个 时 的 充足 类 。 
证 明 由 定理 3. 22 
Vr) =1im lim lim@ oCz) 


bag — oa 


由 1) 及 2) ,V CX) 是 各 ,是 可 测 的 ,由 定理 3.25,Y eo>0, ,rzAinf{n 
守 0V(XD) gCX6) 二 四} 是 Ce,V) 最 优 的。 由 于 gCXW) ,VCX ?都 是 多 
可 测 的 ,因此 TE FCF), 由 :>0 的 任意 性 
sup Eg(X)= sup Bg(X.) - 
TE TE LR 
所 以 字 (多) 是 停 时 充足 奖 。 . 
推论 3. 41 设 式 一 人 ,XD ==CX 和 Pr) EA 
是 一 个 以 (FX, 各 ' XX 路 中 为 状态 空间 的 马 氏 过 程 ;假定 报 一 丙 
数 gz ,2z7) 独 立 于 a*( 或 更 准确 地 说 , 它 是 名 7X {@ ,六 } 可 测 的 )，. 
且 属 于 Bc4*), 又 设 六 本 身 是 一 个 马 氏 过 程 , 则 之 (多 ?是 一 个 
停 时 充足 类 ,其 中 多 '== 久 ,1 一 olw:X io, ,), 因 此 
Vr Yo = sup, BglX’ ,KY 
= sup, Ber.wg Xs X") 
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此 时 Vz',z") 与 "是 无 关 的 。 
8 3.11 带 观察 费用 的 最 优 停止 


许多 统计 应 用 问题 导致 要 讨论 带 观 察 费 用 的 马 开 链 的 最 优 停 


止 。 
设 在 第 步 的 报酬 函数 为 
一 ] 
KI YC) nl 
A 0 
《3. 84) 


其 中 ua<<1 并 设 9(z) ,06 后 有 表 ,(z)0, 为 简单 起 见 , 还 假定 
18 SC<eo EOC) oo n=0,1,2,. (3.85) 
记 | 
FO OLET I NC) oor€ B} 


. 了 一 上 
y= sup {arg( Xo) — 2 OX))} 《3.86) 
定义 3.7 称 fE 小 为 gy€E 吉 的 (a,0) 过 份 控制 是 措 ,对 一 切 
交 于 可 
af 一 CC 
是 + 
fer) | 
定理 3. 42 。 设 了 (zx) ,9Cz) 满 足 (3;85),0<<as&1, 则 
1) V2) 是 g(x) 的 最 小 (a,0) 过 份 控制 ， 
2) VA) pC VY aT Or} — Cx) 
VD)= Tmogl?); 式 中 Qof C7) = VY (olf (eC 
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CCzZ7 3 
V0,TAinf{n 宇 0: VCXODEogCXD) 十 中 是 类 了 (a,0) - 


中 < 最 优 停 时 ; 


5) 如 PAZ tC) 0) 1,r€E E, 则 P(r 之 co) 一 1,t 是 
了 (6, 中 中 最 优 规则 。 
证明 记 +(2) = lim cg te) :可 以 证 明 wz 是 yz 的 最 小 
《a 中) 过 份 控制 。 事实 上 ,Vz) 这 glx) 是 明显 的 ;而 由 单调 收 人 证 定理 
易 证 它 是 Ce,0) 讨 份 的 ,如 (2) 基 9) 的 Ce: 过 份 控制 , 则 Qe.csf 
C0) =f0) 所 以 FO2) = Of O90 fF) 从 a, 
og(7) 二 g(xz) WY tabg (rx) ;不 难得 出 
Cx) = VY CaTv(r) — CC)) 
为 了 证 明 YCz) = 二 ttz), 先 证 对 一 切 rE. 了 Flo,r), 有 


Ba Cw KN) De ks) Tver) C3. 87) 
点 一 由 


首先 {VY CD 史 PaE-8 构 成 所 谓 的 (ec? 上 款 : 即 及 | Cw 
《| <oe 
QaBAVKA) PICAIEIANA) (3.88) 
事实 上 ,|vCz) | 所 8G 之 00, 而 
aB (VX | ) — CX,) 
一 ax uC XI — CX) 
=aToX)— ON) 
VCX) 
设 TE (Casco), 则 由 Ca,c) 上 逻 的 性 质 


. TI . 
BoANns)— 了 oo Noo 
“ 外族 
(C3, 89) 


《3. 89) 式 可 用 类 和 似 于 对 有 界 停 时 的 Doob 停 赴 定理 的 证 明 方 
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法 加 以 证 明 ( 请 读者 补足 ) 。 再 由 控制 收敛 定理 , 令 N 一 oo, 便 得 


T 一 上 


BargX)— LPCCKE EBC vK)— DL CXs) ) vbs) 
于 是 F(x) 坊 v(z) ,为 证 明 相反 的 不 等 式 ,引入 


r=inf{nS0 mr X,) ook,) te! 
参照 引 理 3. 12 的 证 明 , 取 


一 sup[ efg(X; ) 一 Doc] 
用 内 表示 # 步 推移 算 子 ， 则 


有 一 下 


入 二 人 (和 向 ) 一 CCX,) 


人 pn 一 (和 |. 入) 
= Bh— CXs) 
- Cb 
= p(X )— 1 CXs) 


其 中 we 一 信和 ,显然 Tp (x) =BBo hb op) gs) , 
又 . 
aTo(r) CEBb P(r) 
所 氛 是 y 的 (ao 过 份 控制 ,因而 pCz) 关 vex)， 
sn—[ 


对 # 这 my 如 (加 | 外 六 ) 二 >( XD 
点 w 痊 


(As) 外 令 ec 则 
ml 


lm (ev) — 2 eX)) 
用 一 一 Cr 点 一 0 


再 令 mco , 便 得 
“186， 


a 
lm Cg x) — 2 Xe) iim (orn X,) ~ DR 
所 以 
limeg(X,) — iimerwCX) P—a.s. wEE 
从 而 P(r<o0) 一 lzE ,>0, 现 在 来 证 明 7E (ayo), 即 证 明 


rl 
Bl OCX) <o0 (3. 90) 
如 同 引 理 3, 11, 由 于 | az [< 以 及 它 是 Cave) 过 份 控制 ， 因 
而 
下 一 上 . 
v0) = La pKa) — 2 OCXs)] 
. Ss=h 
Tl | 
BX Ty 一 人 we 人 is Ysy + Bru X.Y, 
3. 91) 
从 而 


La 


BOOK a) IG 00 
令 zoo, 则 (3.90) 获 证 , 即 TE. (aye)。 


再 从 (3, 91) 式 中 令 n>oo ,得 
， Tl 
pz 区 Caro(X — DOKs) 
， ET 
于 一 上 


Ba'g(Xe)— CX + 
所 以 2 o 安 Ffz) 1) 一 4 得 到 了 证 明 . 
如 PCr<co) 一 1 则 类 似 于 (3. 31) 趟 


划一 上 


p(x) 一 可 (Car arp(X ie 一 了 >) Oxy 
=0 


| 由 Fatou 引 理 得 
。187 ， 





Vir}=v(r) 
tm 1 
Ba VCK) — DI ACCKXE)) 
Pept 


on 
了 一 上 


一 中 KargCXo) 一 ZCX)) 
如 一 上 


又 因为 BHCX NEB ag Xr) us) 00, 训 TE (eye)， 
这 天 上 朋 P(r<o0)= 二 1 时 ,是 了 (sg,c) 中 最 优 规 则 ， 


往 证 5)。 如 有 某 一 EB, 使 PCT 一 o0)>0, 则 从 P27aC 
《Xe 一 co) 一 1, 可 得 zw) 一 Bfz) 一 一 中 与 区 zz 一 co 巴 
慎 : 证 毕 。 、 
带 费 用 的 最 忱 停止 问题 在 某 些 时 候 也 可 化 为 不 带 费 用 的 问 


题 . 
定理 3. 43 设 C(x) 渤 0, 且 
BC HCCXN L002EB | (3.92) 
则 | 
Vr) =supB,a Gt Xx.) 一 了 2) : (3.93) 


其 中 ,fC2) 二 (DCC) :1G(D 一 9(z) 十 fa)。 
证 明 令 s= gCCX), 则 对 于 TE 


oc 


0.£ = "2 eX,) 

由 强 蕊 氏 性 
. Tt—l er 

f(r) = Be bl 和 2 eX) + Di eC)) 


了 一 上 


BC me Ks) Edge 
坟 王 让 
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FT 一 1] 
ECO eX) Ea fCX,) 
= eNO FRG ) — BagCX,) 
. nm 一 了 
于 是 . 
T—1 
SU 了 可 ar) 一 SU 一 2 eK )) +t) . 
所 以 
VOD—supEaG( KX) — f(r) 
例 9 设 司 生生 ,是 一 列 独立 的 随机 变量 ,并 且 具 有 相同 的 
均 句 分布 ,#8|#| 达 oo ,对 IE RR, 令 
| KX, =max(rs tl 一 C3. 94) 


Vn) supb (a Ks—C 27) C3. 95) 
其 中 ,C 为 非 负 常数 ,0 过 a 守 1, 上 确 界 取 遍 一 切合 得 《aiX, 一 


Go) -<<covzE 有 的 停 时 。 
,显然 ,二 一 (Pin320 构 成 一 个 马 氏 链 , 这 里 罗 , 一 cfo; 
和 p90 一 (DQ,9) ,PP 是 在 多 一 0CU 9) 上 由 名,…, 台 ,… 导 出 
的 概率 测度 。 
记 ? 为 方程 
Be 一 站 = (3. 96) 
的 唯一 的 根 , 令 gC2) = 二 xz; 则 
[Lai'glr) —e)— gtz) 
一 直下 (入 网 £}—zx—C 
—aB(trYV £—z) tl —e 
ag(£— + rl oe 


所 以 
“189 。 


{zs:aTg(r) —c} — g(r) 0 = (rt y} 
由 此 如 rE Lr:ry], 则 对 任何 zx X-22?， 亦 即 
aTy(X.)— Cg(X,). P—a.8 
这 就 是 单调 情形 ,因此 由 例 2 可 知 , 若 令 
和 一 了 fn 用: 大 yy 
如 果 P(t<o0) 二 1,zx 万 及 , 则 它 全 是 最 优 规则 。 
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第 四 章 “ 连续 参数 过 程 的 最 优 停止 


前 三 章 讨 论 了 随机 报酬 序列 的 最 优 停止 问题 ,现在 讨论 连续 
参数 报 醋 过 程 的 最 优 停止 问题 ,这 无 论 在 理论 上 或 实际 的 应 用 上 
都 是 很 有 必要 的 :一 方面 ,许多 实际 的 问题 中 报酬 用 连续 时 间 的 随 
机 过 程 来 刻 划 是 比较 确切 的 ; 另 一 方面 ,连续 时 间 最 优 停止 的 研 
究 . 使 得 最 优 停 止 的 研究 更 加 深入 ,应 用 也 更 加 广泛 。 为 此 我 们 需 
要 关于 过 续 参 数 的 鞭 论 ,过 程 投影 理论 以 及 马尔 可 去 过 程 等 近代 
概率 论 的 一 系列 重要 的 结果 .当然 ,在 应 用 中 我 们 又 需 将 参数 离散 
化 ,所 以 连续 与 离散 的 相互 转化 是 一 个 值得 研究 的 问题 。 

虽然 连续 情形 与 离散 情形 的 某 此 结果 是 类 似 的 ,但 必须 注意 
它们 的 证 明 方 法 是 大 不 相同 的 ,始终 抓 住 二 者 的 差异 这 个 实质 对 
于 掌握 连续 时 间 最 优 停止 理论 是 十 分 必要 的 。 

在 离散 情形 , 若 有 停 时 列 c. 一 <<ec a.s. : 则 可 推出 lmXo 一 
KX, ds. :这 是 因为 在 [sr 二 mJ] 上, 当 充分 大 时 ,0 取 值 为 m, 而 [5 
< ] 是 可 列 个 集合 Fe 一 中] 的 并 ,因此 limX。 a. s. ,但 是 在 连续 
参数 情形 ,不 对 过 程 的 轨道 X, 作 某 些 假定 ,就 没有 上 面 的 极限 的 
等 式 。 加 

又 如 两 个 讨 程 半 与 Y ,如 对 一 切 参 数 二 = 二 了， a.s. , 则 对 于 
取 离 散 值 的 停 时 t+, 容易 得 出 ,X, 一 了 ， us ,而 对 连续 参数 就 没有 
这 样 的 关系 ,这 些 玫 是 由 于 在 连续 参数 的 情形 ,rz 取 值 于 一 个 不 可 
列 集 而 造成 的 。 
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$ 4.1 记号 与 基本 假设 


设 (8,. 人 F,P) 是 一 个 完备 的 概率 空间 , {it€E 统 +} 是 了 F 的 
， 一 族 非 降 子 o 代数 族 { 这 里 安 + 表示 全 体 非 负 实 数 ) ,满足 所 谓 的 
， 通常 条 件 ; . 

每 个 二, 完备 , 且 右 连 续 , 即 门 .一 (4.1) 
记 

Fs =o( Uien, Fn) (4. 2) 

称 二 元 秒 数 {XCw) :1 亿 殉 7 ,wE8) 为 一 随机 过 程 ,是 指 对 任 
何 {€E 缠 | ,XG,w) 是 8 可 测 的 随机 变 虞 ;随机 过 程 {X(tyw);tE 
统 , ,wE DR} 也 可 方便 地 写 为 六 Cw) ,XX 或 XC)。 

设 {X:tE 统 +} 十 为 一 随机 过 程 , 称 它 是 可 测 的 ,如 果 作 为 (3， 

，@) 的 浅 数 ,XC0) 为 久 ( 令 1)XF 可 测 的 ; 称 (X0) 为 (让 适 应 过 
程 ,如 果 对 任何 1€ 绿 - ,XX 为 久 , 可 测 ; 称 (X) 为 (多 循序 (可 测 ) 
过 程 ,如 果 对 一 切 iE R4,X 限于 [0; 引 8 为 多 ([0, 相 ) X 祥 ,可 
测 。 | 
显然 ( 实 ) 御 订 过 程 是 可 测 过 程 , 且 是 (名 让 适应 的 过 程 。 
称 过 程 (X) 是 右 连 续 的 ,如 果 对 一 切 bE, 轩 道 X(，,@) 为 
这 :上 右 连 续 函 数 , 称 () 为 右 连 左 极 过 程 ; 如 果 Y wE 只 :全 所 区 
C* ,0) 右 连续 , 生 Y 个 0, 左 极限 发 - (oO 一 lm X.tw) 存 在 且 有 穷 ， 
吏 , XD 上 由 全 体 右 迷 左 航 ( 匀 ,适应 过 程 产生 的 o 代数 , 称 为 可 
选 o 代数 , 记 为 ,2 可 测 过 程 称 为 可 选 过 程 。 

称 两 个 过 程 《一 (X 与 了 一 (7) 瑟 为 修正 ;是 指 Y IE ,XX 二 
yu. s4 称 为 是 无 区 别 的 ,如 果 { (0) :Xi(o) 天 Pro) 在 品 上 的 投影 
是 一 个 零 概 ( 率 ) 集 。 
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吸 +X 吕 上 的 集合 , 称 为 是 不 足 道 集 , 是 指 它 在 只 上 的 投影 为 

定义 4.1 设 X=(X), 是 两 个 随机 过 程 , 称 X 是 Y 的 控制 并 
记 为 六 7 ,是 指 { 10): 六 (C0) 之 YCw)) 为 一 个 不 足 道 集 。 

本 章 中 X 守 了 ,XX 二 了 ,X<27 了 , 均 基 指 上 述 式 子 不 成 江 的 (t,0) 全 
体 为 不 足 道 集 。 

本 章 还 需要 下 面 有 关山 论 与 随机 过 程 论 的 定理 ,我 们 以 单独 
编导 的 命题 形式 列 出 。 

命题 1] 设 (多 完备 , 刚 一 切 右 连续 的 适应 过 程 为 可 选 过 
程 。([3],5. 22) 

命题 ? 设 (x%) 为 一 循序 过 程 ,X 为 一 实 可 铀 的 随机 变量 ， 
” 则 对 任何 停 时 了 | 

Kr = Kl Elise 
为 . 咏 z 可 泗 的 随机 变量 ,其 中 
一 {AE .FAN [TJjEF) ([3j,4.14 太 注 ) 

截 口 定理 我 们 将 展 次 用 到 。 

命题 3( 截 口 定 理 ) 设 4 是 可 选集 , 则 对 任意 :>0, 存 在 停 时 
了, 使 得 | 

i) [LT JJ 

iiy PCT<Lod P(ACA)) —s 

这 里 zs(4) 是 4 在 名 上 的 投影 ,[[?]]={(, 6) :一 ?Co))。 
([3],5. 2) 

命题 4 设 X=(%), 了 二 《Y,) 蚌 两 个 可 选 过 程 ,如 果 对 每 个 有 
界 停 时 了 ,xX 一 < 守 )Yrya. s., 则 与 Y 无 区 别 。( 相 应 地 XY) 


- (Cf3],5, .0,8) 


， ”命题 5 设 1=(Y0) 是 一 个 循序 过 程 , 则 必 存 在 可 选 过 程 X= 
(xD ,使 得 对 一 切 有 限 停 时 =, 有 X=Y,,a. 
证 明 记 4 一 fo :Po)<eol ,他 
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oo (£0)E A 
0 ， | 
则 到 一 《7 是 有 界 ( 循 序 ) 可 测 过 程 , 由 可 选 投影 定理 上 L3] (6， 
2)) ,存在 可 选 过 程 避 = (p ,使 对 一 切 有 限 停 时 +,X, 一 ,a. s, 即 
当 了 之 oo 时 | 
tA YY) = 
而 当 了 ,二 2 时 ,二 1, 令 
UO VA), Vn) 


oo, itm)=1 


革 :W) 一 
出 YW BE .CR) 
{oto EB 
= DN EDU NE BED 

可 见 半 仍 是 可 选 过 程 ,Y r<co , 当 了 ,<co 时 ,<1X 一 yia， 
si 和 侧 当 ,二 0 了 时 ,5 二 1 二 02 于 是 命题 获 证 ，。 

命题 6 设 ( 久 F,) 右 连续 , 则 一 切 (.F,) 摇 有 右 连 续 的 适应 修 
正 。([3],9 系 ) … . 

命题 7 设 CX) 为 一 致 可 积 上 著 { 或 款 ), 其 几乎 所有 辆 道 右 


连续 , 则 当 soo 时 ,X, 一 一 xX。 ,有 自 (Xj)E 也 , 为 上 珊 ( 或 瑶 ) 。 





对 任何 停 时 PP 有 ECX | EE, a.s, 这 里 六 一 XX 是 指 B81X。 
一 Xe | 一 00S8 一 0o0), 而 受 . 二 这 i UU {oo0}。([3g,3.11 及 3.21) 
命题 3 设 {X,, 久 ,he-+ 为 上 对 ,如 果 lim BX, 之 oo, 则 CX,) 


一 致 可 积 , 且 X 一 >X_。 (ww 一 co)。([3],2. 21) 这 里 ,一 广 表 
示人 负 和 整数 的 全 体 。 | 
设 X= {Fit} 为 (适应 ) 报 一 过程 ,为 了 使 对 每 个 停 时 
TX 为 写 , 可 测 , 必 须 假设 为 一 个 循序 过 程 ,由 命题 4,5 可知， 
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在 讨论 sup&X, 的 最 优 停止 问题 中 ,不 妨 假定 xX 为 一 个 可 选 过 程 。 
今后 ,我 们 将 假定 报 一 过程 X= (%) 是 一 个 可 选 过 程 , 且 假 定 
Av 乏 件 成 立 
X=limsupX . 4 3) 

于 是 X- 是 也 可 测 的 随机 实 ,因而 对 任何 停 时 r,X, 是 可 测 的 
随机 变量 。j 

> {z 为 朗 + 值 的 随机 变量 ,县 Y ‘E Rt {EN EF) 

T={TEF ,Br ps 
Fs 一 {rE 于 , 引 存 在 常数 C0, 使 70) 
Ft FN. 
{EF rt, EX7 Loo} ,C=0N FT 
显然 ,我 们 ] 只 需 在 5m 或 Co 中 讨论 最 优 停止 问题 。 为 此 


,一 Sr， 


并 称 它们 分 别 为 报酬 过 程 Xx 在 或 避 中 的 值 
”和 称 + 为 6 或 (0 中 的 最 优 停 时 (或 最 优 规 则 ), 如 果 EEX, 二 
(或 F037 为 忆 ( 或 中 的 8 最 优 停 时 (或 最 优 规 则 ) ,如 果 BX, 汪 
一 el 或 VV 一 和 )。 
过 程 YX 一 {X41 如) 满足 假设 4 是 措 存 在 一 致 可 积 蒜 y= 
{1+} ,使 得 对 一 切 (f,6@) ,成 立 半 全 UL, sa) 如 果 一 
满足 假设 4, 则 称 xX 满足 假设 总 


s 4.2 可 选 强 上 诸 与 正则 性 


定义 4.2 称 可 选 过 程 X 二 {XX,.F 1,tE 忆 } 为 可 选 强 上 靳 ,如 
果 对 一 切 tT,oE FpTo a 3. 有 BX- <co,B ECX NF,) SX 
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5, 

这 里“ 强 ” 的 含 文 悬 指 对 sz 中 和 停 时 ,总 成 立 Doob 停止 定理 ， 
如 无 特别 指明 ,环节 中 所 谓 的 上 吉 ( 或 鞠 , 下 磐 ) 均 是 指 常 义 的 上 误 
(或 观 , 下 磐 ) 。 

显然 , 常 义 的 右 连续 上 园 是 可 选 强 上 坝 。 

3 引 理 4-1 设 X= {ER } 是 可 选 强 上 蒜 . 则 对 于 任何 
停 时 T,X7= {X47 Ri} 仍 是 可 选 强 上 车， | 

证 明 首先 由 六 可 选 ,Xns 为 多 wwr 人 多 ,可 测 的 , 设 ro 各 
i 有 上 且 7 守则 ThAToAT, 且 均 为 有 界 售 时 ,所 以 

BX FA) =—=E(Xar | FEN XT 人 
这 表明 XY 是 可 选 强 上 款 ， 

引 理 4.2 设立 = (Xe 多 GE 品 } 为 可 选 过 程 , 且 对 一 切 有 界 
停 时 了 ,E|Xi| 近 oo 如 果 对 一 切 有 界 停 时 的 降序 列 (7,) ,lim8Xs. 存 
在 (允许 为 士 c), 则 X 几乎 所 有 轨道 在 上 存在 右 极限 (允许 为 
土 co),([3]4. 45) 

引 理 4.3 设 半 = 二 {wtER} 为 可 选 强 上 蒜 ,， 日 EX 之 o0， 
则 对 任何 有 界 停 时 了 ,Xr 所 Xr a s. 

证 明 .因为 X= (X) 是 可 选 强 上 款 , 对 了 TEs, EXF < 之 ce; 又 
BA<Bo<ceo 因此 了 xzr|<ce ,考虑 任 一 列 有 界 停 时 了 , 则 
(rr 多 mc) 构成 一 个 反 向 上 磐 , 且 limaxr 委 Bo<co ,由 引 
理 4.2,X 的 几乎 所 有 办 道 在 Ai 上 存在 右 衫 限 ， 由 于 ECXz |.F 1) 


Xr ,而 由 命题 8,CXz,) 一 致 可 积 , 从 而 BCXr, FD 和 (ri 1 7》 
一 Xzr+* 于 是 存在 子 列 (?u)， 使 limBkXr | 多 二 rr 所 以 和 + 安 
Ni gs. . 
定 光 43 称 过 程 X= (多) 的 轨道 是 几乎 右 半 .上 连续 的 ,如 
果 存 在 P(4) 一 0, 对 一 切 wE 4 
lim supX.<X C4. 4) 
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由 引 理 4. 3 可 见 , 对 可 选 强 上 蒜 半 二 (Xi) ,只 要 EX6 之 co, 则 它 
的 执 道 是 几乎 右 半 上 连续 的 。 

事实 上 , 若 令 了 一 Jim sup X , 则 它 是 可 选 过 程 , 为 证 忆 雪 已， 
员 妥 证 对 任何 有 罩 停 时 + Yr Xr, 取 Cw) ro) , 则 

,一 BCT， dn. [Flm EX | YEN 

定义 4.4 设 XX 是 一 个 可 选 强 革 霓 ,Xo 一 limsup XACT 

为 一 停 时 类 ,如果 Y rcE -和 ,ro 存在 且 
BOX 多。DJ<X | 

则 称 X 是 -正则 的 上 车, 特别 称 .F 正则 为 正则 。 

特别 要 注意 这 里 的 可 选 强 上 邯 与 一 般 文 献 中 的 定义 并 不 二 
” 致 , 比如 在 DELLACHERIE 与 MEYER 的 “概率 与 位 势 8B” 的 附录 
_ 中, 要求 可 选 独 上 圾 对 一 切 了 TE. Xs 可 积 ,而 这 里 只 要 求 Br 
ce ,关于 正则 竹 ,我 们 也 只 要 水 -上述 EX, 存在 。 所 以 可 称 之 为 广义 
可 选 强 上 蒜 , 但 为 简单 起 见 , 省 掉 了 “广义 ”二 字 。 
”” 引 理 4.4 设 X=(X) 是 可 选 强 上 蒜 ,#X.<co 且 满足 侦 设 8B， 
则 六 是 玉 正则 的 可 选 强 上 蒜 ， | 

证 明 设 0= (0) 为 一 致 可 积 靳 ,X 守 人 令 了 二 (yg.) 为 5 的 右 
连续 适应 修正 (命题 6), 则 上 可 选 , 目 由 了 的 一 致 可 积 性 ,存在 极 
限 y=limy a.s.¥ TE By],) = 记 D 为 有 理 数 集 , 则 
¥ rED | 

xX, =Y, 

由 六 的 右 半 上 连续 性 ,YY LE RL XX 邻 纪 = 一 了 ， 

则 《7 是 一 个 非 负 的 可 选 强 上 讽 ,。Y oy,rE 了 FD ,ra s,A€ 多 


| Vr Vs (4. 5) 
A tet AN (rt) 
‘ | < J wa” 《和 6) 
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出 VO, 存在 极限 1 一 lm 县 i 一 -一 rr ,在 [=e] 
上 ,=r C= 因此 | 


| FF, = Vs 全 7) | 
ANis= om A tr) . 
由 (4. C4.7) 可 知 :Y 4GE 多 。 


| 和 | 


后 是 (Y, 是 正则 的 ,因此 X=(x)? 为 到 正则 ， 
引 理 4.5 设 基 y 二 {Xs ,信人 马 吏 i} ,N= 二 1,2,""… 是 一 询 谤 
减 的 正则 可 选 强 上 扫 , 令 (DD 二 intXs (站 ,如 虹 Y TE .FS ,BX, 在 


在 , 则 Y rf,o€E.F rz 有 
BCX | EL, 《4. 吕 ) 
证 明 由 XD =inf X»(1), 至 少 天 明 过 程 X 与 有 边 的 过 程 是 
无 区 别 的 ,因此 存在 4E 分 ， P(A)=0, 当 owE A 时, X (Dinf 
Kb, 对 一 切 :成 立 ,因此 对 任何 rE 罗 , 当 6o€4 时 ,X(T)=inf 
Xn (7). 或 者 说 


X(T) =intX» (Cry A. {4.9) 
区 TD EXCD 存 在 ， ECXCT) | 多。 ) 有 意义 ， 且 
EXCT) | ,) 


=E(linfXytr, wm) | ,) 
， <<intBCxsCro 12 
<intxy(ova) 一 其 Ko) 和 8， 
引 理 得 证 。 


3 


§ 4.,3 ‘Snell 包 的 存在 性 


在 离散 数 情形 ,我们 定义 报 柄 CX,) 的 Snell 包 
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二 esssupi (XP,) EE 《4. 10) . 
"EC, . 
且 证 明了 = (3) 是 控制 站 = (CX) 的 最 小 C0 正 则 上 蒜 , 月 Y TE 了 





y=esssupht KN, | ,) fi . C4. 11) 
ED 
但 如 果 在 连续 情形 也 照 (4. 10) 定 义 ”| 
六 二 =esssupE(X, | 及 ) 到 .可 {4, 12》 


”此 时 相应 的 (4. 11) 式 并 不 一 定 成 立 ， 现在 我 们 从 另 一 角度 入 手 ， 即 
把 Snel 包 定 义 为 控制 报酬 过程 的 最 小 正则 上 著 。 
定义 4.5 称 正 则 的 可 选 强 上 靳 ,人 [= {%;. 久 ,， 1€ 级 ;) 是 控制 
x 的 最 小 正则 可 选 强 上 扣 ( 简 称 MRS) 是 指 了" 源 X, 且 如 果 男 有 正 
则 的 可 选 强 上 灶 六 宕 XX, 则 必 f 宇 1 
下 述 的 主要 定理 (4. 人 ,描述 了 Sneil 包 ( 即 MRS) 的 存在 性 。 
定理 4.6 设 半 ={X, 字 ,ytE 哆 ;} 是 可 选 这 程 ,如 染 下 面 两 
个 条 件 之 一 成 立 , 则 必 存 在 X 的 MRS 
DD EXs< 达 co, 且 X 的 几乎 所 有 轨道 右 半 上 连续 ; 
i TE.F ,存在 pE. 了 Fp 守 7 ,使 BX 之 00， 
先 证 明 
引 理 4.7 定理 4.6 中 条 件 匀 蕴含 条 忻 记 )。 
证 明 由 8Xz<co 及 (多 ) 的 右 连 续 , 不 妨 假 定 8CXS | 多) 是 
右 连 续 的 适应 过 程 。( 和 否则 取 其 右 连 续 适 应 修正 )。Y e>>0, 令 
p=inf {fT XECRS | ee} “4, 13) 
则 pE 了 区, 且 Tp<o0 ws ,事实 上 ,车 PCp=o0)>>0。 这 表明 在 
[p= 二 oo] 上 ,Xi 宇 B(XG | 名 中 十 ， 令 1co 便 得 牙 盾 . 由 Pp 的 定义 ， 
可 证 
XEXE | 1 
事实 上 ， 由 的 定义 ,对 固定 的 oo, 存 在 一 列 p(w) y po)， 使 
Xs (0) BX, ) ee, 记 | 
= EX | ) 
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则 {je.r, 基 一 个 反 向 上 秽 , 一 致 可 积 旦 存在 极限 yo = lim#, 因而 
ge BCXE1 Fs = HCKZ ID,) 
而 X.(o)-~*Xeao ,所 以 (4 14) 获 证 。 
由 于 六 的 几乎 所 有 轨道 右 半 上 连续 ， 所 以 a s 地 有 
XX H(A 1) 
从 而 . 
至于 > 一 ce 证 毕 - 
为 了 证 明定 理 4. 6, 我 们 分 两 步 。 
引 理 4.8 设 开 是 一 个 上 一 致 有 界 的 可 选 过 程 ( 即 存在 常数 
下 使 对 一 切 人 oo ,XCw) 才 5), 且 YY TE ,存在 pE ,Pp 之 了 ,使 
EXF <oo, 则 必 存 在 关 的 MRS. 


证 明 YE 52, 令 
"y=esssup{ BX | Tr) ,PpE ST ,pT} (4.15) 
由 本 质 上 确 界 定义 ,存在 一 列 {m }C 忆 ,tw' 守 7T, 使 得 
"y=supE(X .|r) {4.16) 


对 zt! 存在 TF ,7 容 ' ,使 BX :之 o0, 令 
机 一 下 一 
则 rp= swpB (Xs | 多), B Bry BX 00. 再 令 
P= p= Td k=1,2, 
其 中 ,Bi 一 (XX, | 隐 7) 守 BCX |. 多 7) ,于 是 
BOX, | Sr BK, | Fy 4 ry (C4, 17) 
.于 是 对 中 停 时 丈 委 和 ,存在 中 售 时 列 {r 相 之 全, 且 盏 (Xe | 
.多 mw) rs ,Bo<co ,由 条 件 期 户 的 单调 收 敦 定理 | 


Er yr) = lim Xs, |Fr ry 【二 18) 
VE RR , 邻 
六 二 地 | (4. 19) 


因为 存在 * 半 由 使 8XF 过 9, 吉 本 六 守 BXF 之 0, 又 友 科 加 故 
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(gj) 是 常 义 的 上 蒜 。 对 于 取 高 散 值 ( 即 可 列 多 个 入) 的 停止 规则 


yr—=ry a (4. 20) 
由 (4. 18}) 式 ,对 取 离 散 值 的 停止 规则 TT 之 Ti ,有 

Byr, | .元 < 扫 久 ， 站 有， (4. 21]》 
为 了 证 明 (4. 21) 对 取 连 续 值 的 停止 规则 成 立 , 令 

WH= lim ¥, {ER (4. 227 


Ed 
其 中 六 是 二 进 制 有 理 数 集 ,那么 (六) 就 是 .Fi 二. 实 ; 放 应 的 右 连 续 


令 








f=Y!yX : (4. 23) 
其 中 全 = C0),Y 二 (及) ,X= CX), 往 证 六 是 正则 的 可 选 强 上 拷 , 且 
¥ TEF ,pO—,y qa.s, . : 
为 此 对 t,oE 了 ,To 令 zrm 均 是 台 值 停止 变量 ,TY yy Fr， 
ow yo, 则 
Wiin 一 ye 二 ey 
由 用 foo 虽 |. 罗 光志 7 及 Fatou 引 理 得 : 
yliminf Fly | FE ,8. | 
.从 而 太守 ,和 s (4. 24) 
考虑 了 中 停 时 ,p>>7, 则 由 C4. 18) 式 
yd [pr] 
ree" 
= YEE" 
Ep | ) fp 
令 "一 co 得 . 
Ey| FRE |.F.,) 
从 而 六 滨 esssup EX 多 ,因此 
PE pr . 
y=YiV Xp C4. 25) 
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联 台 (4. 24) 与 (4. 25) 式 , 则 
| P= esssup ECX,|F,) | (4, 26) 
下 证 了 的 正则 性 ;对 rr 考虑 到 
Ey |F oe ) 
=ECr|.F,e) 
SS pl] Vir 
=y ise} ie C4, 27) 
对 TEF ,由 引 理 的 条 件 存在 Tt EF ,rt 荫 f 使 8X7 之 oo; 秦 
By By by EX oo 
又 半 上 一 至 有 界 ; 故 || 二 % ,在 (4. 27) 中 令 一 co ,得 
Bp | OE] = 
从而 全 是正 风 的 , 量 后 往 证 本 的 最 小 性 ,如 令 "= 二 《yi ) 为 控 
制 半 的 另 一 正则 上 靳 , 则 VY +E 了 Fs, 且 p 关 7T,pE.F 有 : 
ECX | PEE {FE 
于 是 YY iE 了 ny 之 Vy' 由 截 口 定理 (命题 3), 则 1 ,所 以 二 是 
控制 X 的 最 小 正则 上 车 。 
引 理 4.9 设 X 满 足 定理 4.6 之 条 件 2), 令 
RE =XU, 0 Nb, b>0 (4.28) . 
(站 为 和 人 之 MRS, 则 ?CD 二 supy (四 是 天 之 MRS， 
证 明 YY fe 了 ,存在 7 Er 实 二 使 BEF 之 oc, 因此 
Ey- EB Bs) 
RY CT 一 此 全 co 
由 单调 站 敏 定 理 
Cr 
=limE(y Cr) | 多。 
委 ]imy(o) 一 以 中 
因此 T= y( 和 ) 是 控制 X 的 正则 强 上 款 。 
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往 证 也 的 最 小 性 ,如 几 是 另 一 个 德 制 王 正则 强 上 竺 , 则 由 于 
TE FE DE , 故 可 知 y (ry(7) ,由 截 口 定理 得 
7 守 D | 证 毕 
定理 4.6 的 证 明 : _ . 
由 引 更 4.7, 只 须 在 条 件 让 下 给 出 证 明 , 令 (1,0) 一 X(t,0) 
A5, 则 它 单调 增 , 由 引 理 4.8, 对 每 个 可 以 认为 bE .4H4), 存 在 
1 XC 一 co,5) 的 MRS, 再 由 引 理 本 9,.7= tm 1° 便 是 区 的 
MRS. - ”证 毕 
注 1 上 述 引 理 4.8 中 关于 关上 一 致 有 界 的 假设 只 是 为 了 证 
明 如 之 co 及 印 : 之 co, 所 以 车 改 为 满足 假设 4, 结 论 也 成 立 。 
下 面 的 定理 给 出 下 一 致 有 曾 过 程 
Xt wm) = XE wm) Va, es C4. 29) 
的 MRS 与 半 之 MRS 之 间 的 关系 。 
定理 4.10 设 可 选 过 程 X 满足 假设 4， 其 由 对 所 有 抽 道 右 半 
上 过 续 , 六 一 1 人 0) 为 区 之 MRS 
Jr =inf C0) (4. 30) 
如 对 每 个 re B00) 则 二 {FtER,}) 是 匀 之 
MRS， 
注 2 在 给 出 本 定理 的 证 明之 前 ,我 们 首先 指出 本 定理 只 需 
对 Xs<s0 子 以 证 明 , 事 实 上 ,由 满足 假设 4, 则 存在 一 致 可 积 靳 5 一 
(0) ,使 UX, 考 虑 可 选 过 程 {CX 一 UD) Ve:iE 鹏 ,由 于 Yo 
CX 一 UD YD 实 0> 一 oo, 由 定理 4.6 之 让 ,存在 入 ,为 {CX 
一 HD VY astEE 渡 + 1} 之 MRS, 如 果 本 定理 对 XE0 成 立 ， 则 人 =inf 人 A 
便 是 X 一 0 之 MRS, 由 注 1 可 知 存在 了 为 多 之 MRS， 于 是 /一 人 十 
“一 if 人 十 中 :因为 信守 CX 一 了) Va 邦和 .UXY te 十 丰润 生 ， 
所 以 A。 Ul, 守 1， 因此 I 
下 面 假定 X 所 0. 
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引 理 4. 1] 在 定理 4.10 的 条 件 下 ,7 是 可 选 的 正则 上 靳 。 
证 明 因为 世人 oo) 芝 0.W TE ,By * 0， 因此 由 引 理 4 5 
及 定理 4 10 的 条 件 , 故 六 是 可 选 的 正则 上 热 。 
引 理 4. 12 在 定理 4 10 的 条 件 下 ,VY rE 了， 令 
1 ~ 


3 ;tL 
Dna 一 和 9 全 MN 
TYEBE( sap OV IC TY 好 .3 [4.31》 
er . 
证 明 记 
ha(T)= sup Xs) V yr™) 
rr 
BOD=p, Dvent BC | Re 
由 于 qa 和 D0,8|h (nD) | 入 21a| 之 00, 常 义 靳 BChCT)| 字 站 可 以 
看 成 是 右 连 续 的 适应 修正 ,再 注意 到 随机 区 间 [[ro ,十 co[[ 及 
LLr,r%[[ 均 属于 可 选 o 代数 加, 因此 {人 9 ,多 iiE 这 |} 是 可 选 过 
程 , 往 证 它 是 正则 的 强 上 款 。 为 此 设 PoEe 和 :To: 则 
BCBOT) | .多 
=B{Urmen Tt eret BD LFF 
Slap (0) + BE{ ec)h |,} 
me i BT) |F,) 
一 Br 
这 里 要 注意 p(T) 作 0,h (CT 所 0. | . 
由 本 ,人 DO 太 |e| 之 oo0, 因 而 ECB8(7D)- 志 |ai < 之 co; 所 以 {B00} 
是 一 个 正则 上 坎 。 | 
记 = {60 弦 } 一 [多 GE 腕 人) 则 pe 估 而 
8 之 几 ; 其 中 站 二 人 (祝融 +1} ;如果 (4. 31) 式 不 成 立 , 即 存 
在 rE 了 ,使 得 PC(O) 汗 0, 这 里 C= {f(D 之 (7)}); 于 是 CC 
CEF]] 作 34), 这 里 4 二 和 600.80 之 wo0)) ,从 而 P(xCA)) 守 P 
(0)>0, 这 与 B21 矛盾。 
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引 理 4 13 在 定理 4 10 的 条 件 下 ;对 rE ,车 令 y' (ft 十) 
一 Dr , 则 六 《sz 一 XCr)VDP TI 二)。 
证 明 由 于 X<s0 从 = 一 0 由 条 件 期 望 的 Fatou 引 理 5 网 附录 
定理 4. 8) 及 引 理 4. 12 
2" Cr) 
一 lim 1 (CT) 


limsuphd sup ,Xe (Cs) V p(T) | )) 
7 So 


EC sup. XO Vy 《re .9,) 


Ts 

再 一 次 应 用 条 件 期 望 的 Fatou 引 理 ， 由 limy* Cr =y' (7 十 》 

RlimsupX ts) XU ， 则 
vy (DECXCTI YY’ C+) | 肥 
=X( Vy (rt) a,s, 

因为 1* ,XX 都 是 可 选 过 程 , 且 1" 安 X ,因此 y* (7) 污 X(T), 由 
引 理 4. 11, {y* (rm)} ;是 反 向 上 轩 , 且 limBy* Cr 0， 
{C70} 一 致 可 积 , 所 以 

rr” Crt = lmna(y (1) (7) 
联合 上 面 的 式 子 , 便 知 
py HIV KG em (C4. 32) 
本 引 理 得 证 ， 

引 理 4. 14 ”在 定理 4.10 的 条 件 下 ,71' 在 集合 {(t,@);y* 人 
中) 六 X(t,0)} 上 轨道 右 连续 。 

证 明 令 刀 = 人 (rr 多 te 家 :和 往 证 刀 是 右 连 续 强 上 
观 , 为 此 Y reE 宁 ro, 取 王 rsovyo 对 充分 大 的 mpn<cm 
由 于 六 是 正则 的 ,有 

有 (7 Cm) Yon) 
对 反 向 上 蒜 fy" (rt (on) 分 别 令 rjn->o0, 则 
- 205 。 


Ely (ri) | Ey (0+) 《请 读者 补 证 ) 
由 (4, 32) 及 命题 5 | 
了 《4 33) 
从 而 在 之 X 上 ,1 一 + ,1 有 连续 . | 
引 理 4.15 在 定理 4. 10 的 条 件 下 , 令 7 (hstE2 


是 控制 的 可 选 正 则 上 瑶 , 且 假定 

了 一 六 | 《4. 34) 
4 。 

TC) =inf {et: X20 (4. 35) 
刚 当 TO oo 8. ,HYVERR 0 

BTOO I TF) (4. 36) 


时 ,三 为 控制 工 之 MRS， 
证 明 ”只 须 证 明 7 是 深 制 头 的 最 小 正则 上 对, 为 此 设 过 是 另 
一 控制 六 的 可 选 正则 上 蔷 , 对 e 汪 0 及 RR,， 有 
yr Eyre [ry)<Loo] a.s. C4. 37) 
事实 上 ,由 (4,.35) 式 ,在 [rpD<ceo] 上 存在 sy xb ,使 
pls RX(s p(s) —e | 
于 是 yOTO)7) 守 pCT OD)+4) 一 e; 由 于 了 满足 ;全 1 VX, 可 见 在 {y 
CXC 上 rT) =ATOD) ,于 是 
的 和 (站 次 基本 (+ 其) 一 《4. 38) 
其 中 第 一 个 不 等 式 是 因为 Xs0,, 获 含 着 中 < 委 0, 仿 引 理 4. 3 而 
得 。 
由 C4.34) 式 ,在 [yCrc)= 二 X70) 上 ， Pr OPXT OD ) 
yCTC) 一 8; 从 而 由 (C4. 36) 式 : 
We Te as. {4.39) 
往 证 安庆 有 即 证 
={(t,0): XE OSEPE EO) yt 0))} 
为 不 足 道 集 。 设 其 不 然 , 则 由 截 口 定理 ,存在 停 时 7+; 使 [Lr] 忆 4， 
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且 PCr<<co)>>0, 取 常数 C, 使 PCrsC)>>0 令 8S=rAC, 则 8 为 有 
昼 停 时 , 且 在 [rs 
pH) LYS) 1 (4. 40) 
但 在 4 上 ,>X, 如 同 引 理 4.14, 忆 的 轨道 在 4 上 各 过 续 , 因 
此 直人 4. 39) 式 ,对 SE . 
YO EPS limy Slim ) +e 


:是 任意 的 ,于 是 y(5) 志 238), 与 (4. 40) 了 矛盾 ,所 以 Ps 六 

” 引 理 4.16 设 X 是 有 界 可 选 过 程 ,了 "一 (Cy) 为 之 MERS, r(t) 

如 (C4.35), 则 {fyCs 太 TO) .这 ,ss 之 t} 是 一 可 选 的 强 靳 。 
证 明 ”为 方便 计 , 记 ?+ 二 TQ), 由 引 理 4 1,{y(s 人 7T), 祈 ,,3 之 
小 是 可 选 的 强 土 靳 , 往 证 它 是 强 下 靳 , 即 只 要 证 YT 了 守 p 守 1,T,pEE 
:FF 有 . 
| BATADIF (Ap) (C4. 41) 
由 于 | 
ekey TFT AD FS A= 7T) 
所 以 只 要 证 | 
[rn BT A TF pp) (4, 42) 
人 1) ,将 不 看 成 是 
一 致 可 积 款 #(y(rAT) | 匀 .) 的 右 连 续 适 应 修正 ,因此 入 是 一 个 可 
选 的 正则 对. 为 证 (4. 42) ,只 要 证 八 半 XX, 用 反 证 法 ,有 即 设 {Cx,6)，. 
X. 一 在 六 0} 门 [[t,z[[ 是 非 不 足 道 集 . 因为 《46 有 界 ; 因 此 存在 最 小 
的 常数 c, 使 X 一 入 坊 c, 于 是 可 取 0<<a<<cAs, 使 得 
A= {0,0) :0<e— a X,— tc} CE, s[[ 
是 一 个 非 不 足 道 集 - 因为 入 十 c 仍 是 可 选 的 正则 上 园 , 且 控制 X， 

“因而 入 十 0 之 了 于 是 当 Gi 0) EA4 时 ,XX 一 不 字 0 一 9 这 yy, 一 在 一 a; 即 
污 汪 一 6; 从 而 r<a* 这 表明 4 己 [[z,co[[ ,矛盾 .这 就 证 明了 {y(s 
A3] v8 这 人 是 可 选 的 强 靳 ， 

引 理 4. 17 在 定理 4.10 的 条 件 下 ,Y !E 8 十 及 s 汪 0, 令 
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1 inf{s i Xe 04, 43 
则 r<<ceo ws 且 


Ey (tT*) | Oy {4. 44} 
证 明 令 - 

Ty=inf{sit: X_r(s) yp ys)—e} Cd. 45) 

oy=inf {sl Xr (se) (4. 46) 


显然 对 MN Oy TW os 是 有 界 过 程 ,由 引 理 
4.16, 对 st | . | 
yn (OB nor As) |F,) 
Bp AD| FD)=yu(t) | : . 
由 于 Xn 县志 0CM 一 oo0), 于 是 yw 且 志 0, 令 有 一 co 得 
Ely’ (or As) | )=p A 5. 《4. 47) 
在 集合 {XCovtw) ,0) 半 一 Ny 上 ,可 证 
XGy CO TES Xr Gm ey (Cov). s 
. Cd. 48) 
事实 上 ,由 于 (0w)==y* (oy 十 )Y XCov), 因 此 在 {y* (ov) 一 
XCow)} 上 ,(4. 48) 自 然 成 立 ,而 在 f* (ox)>XCoy)} 上 ,由 (4. 46) 
及 的 轨道 几乎 右 半 上 迷 续 性 可 证 C4. 48). 
由 C4.48) 式 ,在 {XCoxt@;@) 半 一 N} 上 ,rE0y, 而 由 关 的 几乎 
所 有 轨道 右 半 上 连续 及 引 理 4. 14 知 (fr 三 Cr 十 as 
《7*) 十; 因 之 ow 入 7T* a. #8 从 而 在 {Xtos (wm) ‘> NHN} 上 ,cox= 
T* ,于 是 . : 
Pr < cc) 
2 Pr” oo, Xor) >— N) 
一 下 (ov < eo, KX(or) >— NY 
= PE(ow) > WN) (4. 49) 
由 (4. 47) 并 注意 到 X 寺 0 l 1 
— ooCEyr SEy’ (ov)H(X_ stor) te 
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Ry 
和 一 AP 一 十 
从 而 POX_x (or) 世 一 N) 攻 生计 一 0(N 一 00), 申 (4.49), 便 知 六 
(Too)=1, 
往 证 (4, 44) 式 ,为 此 先 证 . 
y=ECy’ (rT* As} |.F,) (C4. 50) 


由 于 {ww } 是 正则 上 蒜 ,y 守 8Cy" 《fTAs) |. 1) 我 们 只 须 证 明 
By 和 By" Cr* As), 由 {4.47) 式 | 
Eypr =lim supEy" (Co A 3) 
EUimsupy" (ox A s)) 
H(imsupy" CT™ A 8s) frxco, yx] 
十 limsupy* Cay A sdga—M 
=Ety: tt" As)) 
因此 4. 590) 式 得 证 。 
由 于 一 <ce 4.8, 朋 71"' 安 0, 由 条 件 期 望 的 Fatou 引 理 (4. 8) 
es ECOY* CT } | .1) = 
Blimsup J Cr | 多 人) 
之 limsup Ely* CT" As) | = 
(4. 44)? 式 得 证 , 引 理 证 毕 。 
定理 4. 10 的 证 明 :由 引 理 4.11 及 4.14 知 1* 是 可 选 的 正则 
”上 靳 ,1* = VX， 由 引 理 4. 17, 可 知 引 理 4 15 的 条 件 (4. 35), 
4.36) 成 立 , 从 而 /"* 是 控制 XX 的 MRS, 证 毕 。 
和 注 3 注 2 指出 定理 4.10 内需 对 X 坟 0 予以 证 明 , 所 以 引 理 
4.11 一 4. 17 都 是 在 xs<0 的 假设 下 证 明 的 ,但 正如 注 2 所 指出 ,这 
些 引 理 对 于 满足 假设 4 的 区 仍 然 成 立 。 
注 4 X 的 几乎 上 所有 轨道 右 半 上 连续 的 假设 对 引 理 4. 13 是 
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重要 的 。 1 
结合 定理 4. 6, 引 理 4.8 及 定理 4. 10, 有 下 面 的 二 重 极 限定 理 
定理 4. 18 设立 可 选 , 几 乎 所 有 轨道 右 半 上 连续 , 且 Y FE 
,存在 TT 守 T,T EE ,使 8X7 之 oo0, 则 存在 革 的 MRS 过 程 了 一 
(Dt 区 |} 
“7D = lim lim KD) (4.51) 
其 中 下 = 人 (人 ,RE RL} 为 关 二 (XV a AD 之 MRS， 
证 明 准 为 有 界 可 选 过 程 ,由 定理 4.6, 存 在 它 的 MRS 过 程 
五 , 男 定 z 令 
了 (0 一 i WD 
史 T 人 及, 由 于 (人 Cr) 本 (Cr)) 下 ( 才 (T) 之 co, 由 单调 
收 竹 定理 
ECyCr))™ 
< lim ECACT ))- 


EE 
A lim ECXIT ))T | 
- {ee 
<2X7 + z 
< oo a M 和 并 


于 是 由 定理 4. 10, 瑚 一 人 六 (多 :人 殉 为 名 一 下 人 五 之 
MRS, 再 令 b>oo, 由 引 理 4. 9, 便 知 工 一 {yt 这 |}) 是 X 之 
MRS. 

定理 4 19 设 浆 满足 定理 4. 18 的 条 件 , 且 Besssup Xi <<oc， 
则 对 浆 的 MRS 过 程 f 一 1} ,有 

yr)= esssup BX,| BY | 《4. 52) 
IRTPE . 
其 中 zE 字 * 且 有 Xecc。 
证 明 首先 可 证 :Y T 息 宁 . 
esssup ECX 多 一 csssupECX 多) (4. 53) 


PE pT 


* 21D0， 


FP: 





式 中 一 {pEF' ,p71 且 8X7 之 co0), 显 然 ,(4. 53) 之 左边 室 其 右 
边 。 另 一 方面 , 荐 EF ,sp 之 7 而 BX7 二 十 oo, 则 P(E(Xs | 多) 
一 一 ce 已 B= {BCX, 1 ) = 一 co), 令 Pp 二 jp， Tf 十 jp ; 易 知 
PT PETF ,HAH EXEXy rr BX so, 于 是 PEC.; 而 
ECX;] = BX ts KEY, | .) 
因此 
‘esssup ECX 1 esssupE(X, | 


对 于 上 _ 致 有 界 过 程 X=XAb, 由 引 理 .8 


(CT) 一 esssup ECX, ADI .) (4.54) 
PET pF 
WIT) esssup 天 (内 二 | 天 {4.55) 
PE CL PE TT 
另 一 方面 ,Y pEC; 


HF 十 大 os 
在 呈 esssup Xr 之 oc 下 ,Xi.) 关 于 # 一 致 可 积 ,因此 
BOX Ab.,) 
Himinh Xoar Mb.) 
cssup, BCX,A blF.,) 


加 


由 (4 54) 式 及 (4. 53) 式 . 
HUISesssupE( Xs, ADI BY) esssup ECX, MBF.,) 
. PE EeeE 
所 以 . 

Wr)= esssup ECX, Mb) esssup BCX, AB| FY 

PE Pec, PEF rtpr : 
对 于 一 般 的 过 程 六 ,有 
Pr) = Hm) 
= 一 lim cssup BOX, Abl.F,) 


sopEE 


< esSsub gO),) 
PES prir 
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往 证 相反 的 不 等 式 ,Y PE.F opz2f* 由 了 的 正则 性 
vn | BN, |F,} 
所 以 | 
DP essup BXolF,) 


于 是 
(= eossup BOX,| 1) 
注 5 本 定理 的 证 明 中 没有 用 到 单调 下 降 的 极限 5 定理 4. 
10) ,为 此 不 必 假 定 头 的 轨道 右 半 上 连续 。 
定理 4.20 设 羡 可 选 , 且 Y rE 了 5,BX7 <eco, 刚 存在 控制 天 
的 最 小 强 上 邯 二 {yw ,EE 殉 1}, 且 VY TE , 
= esssup ECX, | ) (C4, 56》 


pE ST 1 


证 明 首先 可 类 似 于 (4. 53) 式 证 明 :Y +E 了 。 
esssup BCX,|.W,) =" ssp ECX,|..,) 《4. 57) 


PE 有 PT 


对 上 一 致 有 界 过 程 YAz 及 有 界 停 时 应 用 引 理 4. 8, 即 Y 7E 
了 sg: 取 


-六 一 Ssssup ROX A ol,) (4.58) 
同样 可 证 C4. 18) 式 。 类 和 似 地 邻 

Is—=y'¥ x | (4. 59) 
则 | 

六 二 YY X= 二 csssup BOX Ab|F,) (4.60) 

PPE a 

且 易 证 5 是 控制 取 关 的 最 小 强 上 台 ,Y TE.F = 人 : 今 

T=limf 4.61) 
则 由 上 sup B(X;|. 实 ,), 可知 | 

Ps cap BCX |5 (4. 62) 


对 任何 pEC. 人 5, 由 ECX AD)- 一 Exz<<so ,由 单调 收 全 定 
。212 。 


理 及 国 广 蓉 如 (内在 守 可 知 这 有 (| 到 所 以 
> esssup POX, | ,) (4. 63) 


Hee, 

从 而 

. = e588sUPp EEX) 一 esssup BLK, | .) 
PE pTpE 


(4d. 647) 
下 和 面 的 引 理 来 自 于 Mertenst*], , 
引 理 4.21 设 1= 人 yw,WE.} 是 可 选 强 上 著 , 如 对 每 个 + 
ET , sup byrne Rllimy ao. 5， 存在 。 
引 理 4. 22 ”设立 为 可 选 过程 ,W IE 沈 ,EX7 <0c0, 且 YY TE 
小 ,存在 TT 宇 Ti.TE. 了 FZ, 使 8X < 之 co, 则 对 六 之 MRS 过程 ,/'= fy， 
tCER+} 有 


lim yt) limsupX, (4. 65) 
[9 一 
By =sup{EX,, rE (4. 66) 


证 明 责 定 理 4.6, 存 在 之 MRS 过 程 "= {py(0) ,1E€E 喧 -)， 
.YY rE 了 F ,存在 rE. 了 Fr 写 7, 使 得 BX5 之 co, 因此 Y 各 束 
Byrn By Ey HXF 00 
于 是 由 引 理 4.21.limy 4.8. 存在 。 
由 于 fi 全 用- + 因此 
imy(D limsupX AX. C4. 67) 
男 一 方面 ,对 一 XAB5 以 及 它 的 MRS 过 程 1*= {y(0) ,1 
ER ,我们 可 证 
limy (DX AL 
事实 上 ,7 人 一 esssup BCX, AD| FOB esssupt X, A | ,), 
其 中 ss 注意 到 esssup(X 人 本 SS 以 及 (esssup(X 本) 过 (人 
b) EX ! 令 i*.oc, 则 得 
limy (1) esssupt X, Mb) 





* 了 全。 





再 令 ”co , 便 得 
jim yx Mb 《4. 68) 
Fr 


由 于 limy ,im a. 8. 存在 ,因此 由 [1.68) 式 


lim ”= liminfy, = liminflimy’ = Jjimliminfy 


I on a0 1 二 ca sro J— col—s oe wrt 


lim (CX MAP) = X. (C4, 69) 


联合 (4. 67) 式 , 便 知 C4.65) 滤 成 并 。 
由 于 7(0)—= esssup BOX, (= sup BE; 所 以 
ED =p0=sup{ EX, PE FT} 
注 6 在 (4.69) 式 证 明 的 第 三 个 靠 号 中 ,我 们 应 用 了 下 述 事 
实 : 若 a 关于 m 及 # 均 为 单调 不 降 , 则 


lim lim a;, = lim fim en (4.70) 


Mr Ou ce Nm 


上 面 的 安 , 一 f@,2]) 为 平凡 的 代数 。 

下 面 的 定理 讨论 Snell 包 的 到 或 机 正则 性 。 

定理 4.23 1) 设 X 可 选 满足 假设 8, 则 存在 X 之 MRS 过 程 
让 如 椰 (0) 之 oo, 则 它 还 是 最 小 . 玉 正则 的 ; 

2) 设 X 可 选 , 满 足 假设 4, 其 几乎 所 有 轨道 右 半 上 上 连 刍 , 且 Y ! 
EE. ,BX seo 则 存在 之 MRS 过 程 , 且 是 最 小 到 正则 的 。 

证 明 1) 由 XX 满足 假设 8, 由 定理 4.6 及 注 7, 存 在 MRS 过 
程 .再 由 引 理 4.4, 它 是 也 正则 的 ,再 由 注 $, 便 知 它 是 最 小 字 下 
则 的 








2) Yas0, 记 X% 一 XYVa 相应 的 MRS 过 程 是 存在 的 , 记 为 下 
二 {人 DE 天 +) 令 PD =infy, (1 ,因为 Y 7 存在 心 使 
70, 而 即 (c) 二 Beco ,由 注 1 之 (49) 臣 , 即 (D 去 本 (二 
ce 因此 由 定理 4. 10, 六 = 一 1 人 () 是 之 MRS. 
由 (C4.8) 式 ,Y¥ TEF yr) =infy(7). 过 程 XX 一 半 YV a 满足 引 
理 4.22 藤 条 件 , 因 此 
。214 。 





limsupX rt 一 lm (DD 人 yo} 
tor me 


于 是 
yoo) Elimy(oo) 
=limlim sup( XD VO) = Xt) 
所 以 
XooI)—=ytoo) =infy (tony 和 8 
C3 
困 东 ,W rE 宛 


{7T) =infy, C7) | C4.71) 
YT TOE ,To ts 由 于 fo) 满足 假设 品 .由 113 可知 恩 
Cr |. 头 因 po 由 于 过 程 居 满足 假设 4,0(T)7 <00, 令 4 
一 ce. 刚 





EVD | I) EV) 
所 以 了 是 有 正则 的 ,由 下 面 的 注 8 可 知 它 是 最 小 了 正则 
的 。 | 
注 7 若 过 程 满足 假设 , 则 定理 4.6 的 条 件 问 满足 。 
注 8 设 -YA 为 停 时 类 ,如 果 X 是 最 小 -7 正则 和 且 .人 下 
则 的 可 选 强 上 蒜 , 则 X 必 是 最 小 -小 正则 的 可 选 强 上 蒜 ， 
定理 4.24 设立 为 可 选 过 程 ,W rE 3 ,大 在 EF,r 字 7 
-使 BX; 之 中 沪 XX 之 MRS, 且 所 (0) < 之 oo, 则 有 Belmann 方程 
/= YX C4.72) 
其 中 必 十 一 人 十字 itE 殉 CH 一 im ys). 
证 明 站 设 T,0E. 了 FyT 访 0,T TGw40 为 有 界 停 时 列 。 由 
By 之 o0 ,ty ) 一 致 可 积 , 于 是 
人 iT 十 ) 二 lim 恒 (rw Ey) oo 
不 妨 设 之 om ,因为 ,ECTD 1 7 入 ylow) ,而 对 固定 的 
ElyCr) | 0 4 2 By) oo 
令 mm 一 oo, 则 得 BOCr 1 宝生 Jo 二) ,再 令 m20, 便 得 BCy 
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《7 十 中 多 法 Xo 十 ) 这 表明 :十 也 是 可 选 强 上 识 。 
ii 由 引 理 4 3 , 则 大 十 过 忆 
ii 往 证 个 十 YX 是 控制 xX 的 正则 上 加。 为 此 设 T,0E ,7T 字 
osm roo 
下 (CT 十 )V XO TIEEYNE YT, Et) C4,73) 
YE ,存在 TE,T 宇 使 BXF < 之 co0, 语 
kipytTt ) VY KC) | 
Rytrt VY XT + 2B (p(tri I VY ECT) 
S28y(0) 二 2 Himinf Ey C7.) 
SIEyCD) + ENF oe 
在 C4.73) 中 令 rn->o0, 则 
ECT IV XCOD IF rot ) VY Xo) 
从 而 [十 YX 是 控制 xX 的 正 风 强 上 拷 , 于 是 十 YX 守 1, 另 一 
方面 ,由 说 ,fT 人 十 YX 和 人 所 以 = 十 六 . 
回顾 我 们 得 到 的 关于 snell 包 的 结论 
设 关 可 选 , 且 满足 定理 4.6 条 件 BExXs=< eco 且 几乎 所 有 轨道 
右 半 上 连续 或 习 满 足 相 设 下 均 可 推出 它 ), 则 存在 控制 空 的 最 小 
正则 的 可 选 土 蒜 , 即 MRS 过 程 , 也 称 为 snell 包 。 
由 定理 4. 23, 当 X 满足 假设 8 时 或 者 满足 4 且 轨 道 右 半 上 连 
续 ,Y 1,EX7 之 oo 时 , 则 XX 之 MRS 过 程 还 是 最 小 .F 正则 的 ,对 于 
《最 小 ;有 正则 的 MAS 过 程 1 一 {4 了,,1E 六 , 易 下 VY rE 
太一 esssup BCX, 1) [4.73) . 
为 了 要 有 54. 51) 式 所 表示 的 极限 关系 
im WH 
对 立 的 轨道 右 半 上 爱 续 的 假设 是 重要 的 。 
《4.72) 式 表明 :一般 地 说 了 不 是 右 连 续 的 过 程 。 
显然 也 正则 蜂 上 名 正则 ,有 正则 必 梧 正则 ,由 定理 4.6 的 证 


1 








明 ,如 六 满足 是 上 述 定 理 4.5 之 条 件 说 , 则 一 subZ《D ,其 中 人 
(为 TD 之 MRS. 定理 4.23 表明 {y0Q)} 蚌 正则 的 ,于 是 Yo， 
rz 和 天,rzaoy 有 


BY) ED) 《4. 74) 
如 果 gf 全 fo;y 则 由 于 ECOACT)Y A EXT ce ,全 5b 一 co ,可 得 
可 [CT | 多 So) 《4. 75) 


所 以 1 二 {vtE RR}, 是 C6 正 测 的 ; ,如果 Xs 之 oo0, 则 由 于 二 
CT E00))】 所有 <eo 同样 可 在 (4. ?7 和 中 令 bc， 
而 得 (4.7) 式 ,所 以 才 是 巴 可 正则 的 ,由 注 8, 则 可 知 在 BX<<co 
下 ,人 是 最 小 了 正则 的 MRS 过 程 。 

为 了 建立 也 的 最 小 Ca 正则 性 ,我 们 需要 对 报酬 过 程 加 一 些 杀 
件 。 

定理 4.25 设 X 可 选 , 满 足 定理 4.6 之 条 件 匀 ,有 生效 s 叶 0， 
则 六 之 MRS 过 程 志 是 最 小 C6 正 则 且 最 小 06 正则 的 可 选 强 上 款 ， 

证 明 由 (4.26) 及 (4.53) 式 ,Y TE 

X(T) esssuph( X, | .) (C4.76) 


好 果 说 是 男 一 个 控制 的 正则 的 可 选 强 上 著 , 则 由 了 刁 
Co ER A TE jy 有 
DEEP | RECX, |.F,) 
所 以 由 (4.76) ,pC7) 守 p(T7) ,由 命题 4 使 知 了 7, 这 表明 是 控制 
让 的 最 小 Co 正则 可 选 强 上 鞠 。 再 由 注 8, 了 也 是 控制 XX 的 最 小 0。 
正则 的 可 选 强 上 款 ， 证 毕 
定理 4.26 设 半 可 选 ,几乎 所 有 和 损 道 右 半 上 连续 , 且 满 足 定 
理 486 之 条 件 让 ,如 对 于 玛 的 好 及 过 程 工 一 0 有 人 0)<co 则 
¥ f 它 .家 ,有 
EWIG)} =esssupB( Xe |G) =—esssupB (X16) 《4. 77) 





特别 有 二 a ss 二 包 二 上 1 其 中 PesssupB (Xo |.F,). 
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证 明 ”由 定理 4 5, 存在 关 的 HAS 过 程 /日 由 (4.75) 式 , 它 
是 改正 则 的 。Y 5E 区 ,由 于 By | 1 社 BCX, | 0), 可 得 





Ey lo ResssupnE (xX, | 0) (Cd. 78) 
TE, 
另 一 方面 , 记 1y CD} 为 {关中} 之 MRS, 令 
™ (Dinf {st Xe} C4.79) 
TOO=inf {st Xe:)} Cd. 80) 


出 由 引 理 4.17.500) 之 co as 于 是 莽 人 < 二 攻 (天 co ws 而 由 
《4, 44 式 ,本 (有 (| 多 四 六 由 ,于 是 
CCNCOD TTF,) 
EtT OD | FT,) 


EC | ) 《4.81) 
会 5 一 co ，, 则 
vp yr ) |F,) {4.82) 


机 于 的 右 半 上 连续 性 及 (41.72) 式 
Ey [OSECXCT OIG) TeesssupB CX, |G)+e 
ve 


全 .人 3) 
:是 任意 的 ;联合 (4.78) 式 , 则 
Et WC =esssupB (X16) —esssupECX, [IG) C4.84) 
特别 取 6=.3,, 则 
yesssupE( Xl ,Ey 《4.85》 
由 的 定义 ,显然 有 印 宇 1. 另外 由 (4.53) 式 ,存在 一 到 (Cp,) 
Ce 使 得 psupE(Xprl. 灾 ,)。 对 任意 的 psPprEn, 令 
pl =p pe HapL lape 
其 中 A= {w: ECX, (FINNY, | FN), 那么 
BCX, | Dmaxth(X, | 多， CX | 多) 
于 是 存在 一 个 停 时 序列 Cp ?Ce 使 ECX ,1 多 ,4 %. 由 单调 收 生 
= 218 + 





定理 
Ep —limBX, Eh, 
从 而 即 二 [i, 同 理 可 证 到 一 六 故 
=Ey= Ep=V,, (4. 86) 
注 9 [36] 中 定理 4 断言 ,在 X 可 选 ,&X7 之 oo(Y 1€E 吏 1) 的 
,条件 下 , 则 存在 最 小 C; 正则 的 可 选 强 上 蔷 , 在 [36] 的 证 明 中 ,作者 
在 建立 了 = 十 YX 后 就 断言 1 是 最 小 Co 正则 是 没有 根据 的 。 





314.4 用 有 限 参 数 还 近 和 连续 参数 问题 


现在 讨论 用 取 离 散 值 (二进制 有 理 数 值 ) 的 参数 过 程 对 连续 参 











数 过 程 的 之 过 。 
设立 是 一 个 可 选 的 5 报酬 ) 过 程 , 具 右 半 下 连续 性 , 即 Y {EE 壳 + 
liminf X (s) 2X (OD (4. 87) 
且 Y t€E RK; 
EXr <o0 (4. 88) 
令 y 是 固定 的 二 进 制 有 理 数 ,9 宇 0, 取 自然 数 入 充分 大 ,使 1 二 
a 和 一 {yr Ca id= 0, 玄 : 医 ,…,N} 是 X*—~{X{t), 
,三 0, 高 ,六 ，… ,NN 的 MRS, 它 可 以 用 后 退 妆 纳 法 得 到 , 即 令 
CN) = XCN) 


PO XO VY EOC 122 "| 这 jw-*) 
这 里 j= 二 0,1,2,- ,N27 一 1， 
用 后 退 归纳 法 ,容易 证 明 对 于 固定 的 4,y*(9) 哺 六 的 增 大 而 
不 减 , 因 此 可 令 


(= lim to) 
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易 知 (人 《9 灾 。: 一 1, 2 是 常 叉 的 离散 参数 上 部 ,这 里 9 < 扫 信 
过 … 是 二 进 制 有 理 数 序列 。 
如 果 立 满足 假设 站, 则 1 Cg) 一 致 可 积 ,对 于 任何 在 二 进 
制 有 理 数 集 忌 上 取 值 的 停 时 rc, 者 + 这 9, 则 
BAT | Ey (0) (C4. 89) 
如 果 再 假定 Br (0) 过 oo, 则 YE 这 4 , 令 7.ED,r,44, 则 极限 
im Cr 存在 (命题 3) ,因此 可 令 
WO) = 1imy Cr,) C4. 90) 
下 面 的 定理 将 证 明 六 是 X 之 MRS. 
定理 4.27 设 藉 是 可 选 过 程 , 轨 道 右 半 下 连续 , 且 满 足 假 设 
有 ,Bt0<cc, 刚 
I=) 
是 世 之 MRS 过 程 。 
本 定理 的 证 明 还 需要 下 面 的 引 理 
引 理 4.28 令 (x0) 为 一 可 选 这 程 ,使 得 对 一 切 有 界 停 时 了 ， 
上 Xr 在 在 ,对 一 切 存 界 停 时 的 降序 列 C7,) ,1 lim axXr, 存 在 (允许 为 十 
so)* 则 入 的 几乎 所 有 轨道 在 腕 ,上 右 极 限 存在 (允许 为 二 co 。 
证 明 参考 [3]5. 45 定理 ,我 们 只 把 [3] 中 的 要 求 ,Y TE ，， 
如 xzr|<=e 改 为 BXr 在 在 ; 它 并 不 影响 其 证 明 。 
引 理 4. 29 令 (X) 为 可 选 强 上 蒜 , 对 任何 有 界 停 时 的 降序 列 
?YX 一 致 可 积 , 则 苇 的 轨道 几乎 右 半 上 连续 。 
证 明 由 引 理 4.28,; 存 在 人 ,P94 一 1, 且 对 一 切 wE tv,1E 
RE Nt (0)= ln ,Xetm) 存 在 , 令 
[Xe C6), woE Oo 
10， nm& 
则 (YD) 为 右 连 续 适 应 过 程 ,从 而 为 可 选 过 程 ,为 证 的 轴 道 几乎 右 
半 上 连续 ,只 须 证 明 :Y em>0,， 集合 {oD ;C60) 过 Ho) 一 6} 为 不 
* 220 。 


下 一 


足 道 集 ,如 果 不 然 ,由 截 口 定理 :存在 停 时 S, 使 得 Pt83< co)>>0， 
且 在 18<cc | 上 ,有 总 过 YY(w) 一 8, 邻 局 一 8 二 本 7 一品 AN,T—& 


AN, 其 中 心 充分 大, 使 得 HC 过 NWN) 于 0, 于 是 
lim EX = lim BXyls yt lim BRs,lrs cx 


由 于 Xs fa. 一 一 Yltwerjs 且 (Xi) 一 致 可 积 , 由 Fatou 引 理 
lim px 
EXyirss rt BY'sirsen] 
RX vcs BXsiltsey] trP(SLNY 
一 再 Xz 十 EP(S< AD) 
与 强 上 蒜 性 质 矛 盾 , 有 具 而 X 的 几乎 所 有 轨道 右 半 上 连续 。 

定理 4. 27 的 证 明 : 首 先 证 明 !" 是 可 选 的 强 上 著 , 对 于 t,ovE 
了 aT 之 0, 取 驯 值 有 界 停 时 到 韦 上 Tron #9; 由 (4. 89) 式 ,对 使 m 芝 
ou 的 站 与 他 

EC ER) | DA C0) 
令 root 由 于 lm (DE By (0)<oo y(n) yp Cr)) 
ECy (Cr) | Elim Ey 《ri yp (on) 
(4. 91) 

由 于 满足 假设 BY TE sy ?CD 之 oo0, 而 多 (7) 捞 
imEy* (rs 本 "0)<oo 从 而 如 | 六 (<co。 由 [3 之 2. 22 系 及 
(4 91) 式 

EDIT = lm BE nD | SE) 〔〈4.92) 
所 以 1* 是 可 选 强 上 著 ,(1* 是 右 连 续 的 适 座 过 程 ) ,而 由 引 理 4. 4， 
2" 是 .7 正则 的 。 

由 半 的 右 下 兴 连 续 性 , 则 知 1" 守 X, 下 面 证明 1* 蚌 控制 xX 的 

最 小 正则 可 选 上 款 , 为 此 令 和 信 二 {56,1tE 坎 |}) 为 男 一 控制 XX 的 
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亚 则 可 选 上 蒜 , 令 
6， iED 


站 《让 二 一 
lim 让 ， titED 
Er 


引 理 4. 28 吉明 被 限 lim 5 是 存在 的 ,和 八 ' 一 上 (的 ， 区 GE 
倪 -} 是 右 连 续 的 适应 过 程 ,因此 它 是 可 选 过 程 ,由 于 X 满足 假设 
上 8, 因此 由 引 理 4, 29, 入 的 罗 道 右 半 上 连续 ,于 是 信守 入 '. 

往 证 A' 之 1* ;如 果 4€ 5, 则 存在 充分 大 使 9 二 认 ,X(9) 一 
其 让 人 所 以 5 (09) 二 600) 守 产 (0) , 令 和 No0, 则 5 (09) 宇 疡 (9) ,如 果 
各 呈 , 则 由 宁 人 一 dim ,09 及 ”OF lm, 《9.) ,可 得 1 (2) 
人 yD ,总 之 PC5' (D 守 六 (四 吕 1) 二 1; 即 入 ' 字 1™. 

于 是 入 之 入 ' 实 1Y, 这 表 朋 1™* 是 最 小 的 控制 X 的 正 风 上 蒜 , 即 
之 MRS 过 程 。 证 毕 ， 

综合 上 而 的 定理 4.6, 引 理 4.9, 定 理 4.10 及 定理 4. 25， 我 们 
有 以 下 关于 Snell 包 的 四 重 极限 定理 。 

定理 4.30 设 X 是 右 连 综 适 应 过 程 , 目 Y 1€E RL BX 0, 
EX < 之 0o90, 则 存在 上 二 {yw 这 41 六 }) 汶 计 之 MRS 过 程 ( 即 Snell 
包 ) ,其 中 

所 一 im lim lim lim ye 0%) (4.93) 


ba i 


于 下 为 一 个 二 进 制 有 理 数 列 ,天 > 为 XC) 二 (XN Cm) Va)A2 
之 MRS. 


证 明 对 固定 的 入,{X8*( 去 ) :6 一 0,1,2,…,N2") 为 有 界 报 


醋 ( 离 获 参 数 ) 过 程 ,存在 它 的 MRS 过 程 {p*( 襄 1h 二 01， . 
NN2*} ,对 二 进 制 有 理 数 4, 令 
WO lim 二 (9 
对 起 流 ; : 取 二 进 制 有 理 数列 445 令 
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KOO lm) 
因为 Bx(0) 过 ,由 定理 由 27 {C27 所 流 +} 是 {Xi()， 
,tCE 深 } 的 MRS, 
i 记 WD =infy (DY rE ,存在 常数 CC, 使 * 安 C, 由 于 
20AD) -一 im ET S im By EEX oo 











4. 94) 
由 定理 4.10, 可 见 { 了 (后 到) 是 { 生 人 人 天 的 
MRS ,注意 到 Rs 之 oo0, 由 引 理 4.9 可知 ,由 (4. 93)? 式 确定 的 地 
为 革 之 MRS. 证 毕 。 
我 们 运 可 以 证 明 当 X 是 右 连续 适 庶 过 程 , 满 足 定理 4. 30 的 
条 件 , 且 到 * 近 ce 时 , 忆 有 右 连 续 的 修正 。 
引 理 1.31 设 人 xD) 为 一 可 选 过 程 ,使 得 Pp Xr | 之 c9 ,如 果 
对 一 切 有 界 六 时 的 降序 列 C7,),《(Xz) 一 致 而 积 4 且 lim BXy. = 
Xn: 由 CXD 的 几乎 上 所 有 轨道 为 右 连 续 。([.3 15. 47) 
引 理 4.32 设 乏 为 可 选 讨 程 , 六 调头 之 MRS,Ey(0) 之 oo0,1" 
一 (人 (0) 为 XA2 之 MRS , 且 ! 一 sup1 ”如 果 每 个 部 是 右 连 续 的 
适应 过 程 : 则 [也 是 右 连 续 的 适应 过程 。 
. 证 明 不 妨 取 为 正 整数 ,是 设 1 CD,nE .A4} 是 单调 增加 
的 ,由 引 理 4 1 VY 4 这 {pan ntE 沈 :1 为 可 选 强 上 于 , 记 以 
为 BV)14. 玉 1) 的 右 连 续 修 正 , 则 {sn 一 条 小 为 非 负 的 强 上 轨 。 对 
任何 TE 0B yr Mr 各 Bg 一 B09, 因此 {p41 一 
MM 小, 因而 {xii} 在 中 有 界 。 
现在 设 t$,) 为 有 界 停 时 的 降序 列 ,S,y #, 对 固定 的 x, lim 








Beo, 故 (站 一 致 可 积 , 且 次 六 一 交合 题 8), 由 于 


Ey ns 对 4, 对 区 痢 是 单调 非 降 的 ,所 以 
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lim Ey se = lim Hm 号 ma 


mr mR 


=lim lim Fy ne= Benn 


a 


由 引 理 4. 30,{1zxx 的 几乎 所 有 轨道 右 连续 ,由 于 “是 任意 的 ， 
故 志 的 几乎 所 有 轨道 右 连续 。 

现在 来 证 明 我 们 所 需要 的 定理 。 

定理 4.33 设 xX 是 右 连 续 的 适应 过程 , 且 Y 1€ RH ,EX 之 
coo,X-< 之 oo, 是 六 之 MRS, 风 当 印 (0)<oo 时 ,了 1’ 有 有 连续 的 
修正 ， 

证 明 由 定理 4.30,yw 不 C50o0), 这 里 籽 为 汪 Ab 之 MRS,， 
如 果 能 证 明 yw” 有 右 连 续 修 正 这, 则 有 有 连续 修正 六 = tim 六 ( 引 
理 4. 32)， 

为 此 不 妨 设 六 5, 基 为 YE 殉 4 ,一品 之 地 达 妈 (0) 之 o2, 所 
以 辣 是 常 父 的 上 者 。 为 证 有 右 连 续 的 修正 ,只 要 证 明 1, 一 配 右 
连续 上 [3]3. 8) 。 

0 0, 了 到 TEC, 使 AT 一 es 取 (go) 一 坟 ， 当 上 十 
LL 





坟 r<t+ 亨 ; 则 EY， VT 由 假设 BX 之 oo0, 由 (4. 75) 


式 ， ,是 交 了 正则 的 ， 故 并 坟 ECX- | ) ,由 于 吉之 5 且 by, < 
5 可 见 人 p02 这 1) 是 反 向 上 靳 ,于 是 由 命题 8， 存在 可 积 的 随 


gsHE! 
机 变量 #, 使 Fp 一 一 >, 由 半 的 右 连 续 性 
$=limy. limX. =X df, 8 


取 充 分 大 的 入 ,使 芍 , 六 砧 一 * 则 当 0<4<< 广 时, 一 相交 
+ 让 二 这 BX 一 > 一 22, 从 而 V== By 右 连 续 , 定 理 得 证 。 
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3$4.5 最 优 与 最 优 停 时 ,唯一 性 


下 面 的 引 理 与 定理 刻 划 了 最 优 停 时 的 特征 。 
, 引 理 4.34 设 半 可 选 ,其 几乎 所 有 轨道 奋 半 上 过 续 , 且 YE 


SE EN < oo, LE,, -oo [To ，, Fa 为 帮 之 MRS,r 在 , (CD 中 最 
优 :, 则 Y sf 


fi XN 《4. 94) 


证 明 YW sh 对 rE 避 ,有 
Pi 一 有 X 一 [BOCsl,)+ | 和 


lt] 
去 | 加 十 | Vr= Byrns 
ir] [We 


所 到 一 到 一 PP， 


和 在。 辣 . Cd. 95) 


于 是 
ht 一 天 (xj 史 。)) 十 | er — X)=0 
z (4. 96) 
由 于 被 积 函 数 非 负 , 故 
ECOX |B)=ys Lr>Sla. ss, =X, qs 
(4. 96) 式 对 蕊 中 最 优 停 时 + 仍然 成 立 ,注意 到 此 时 是 正则 
的 ,因此 
P= EX By 
所 以 (4. 94) ,C4.95) 仍 然 威 立 。 证 华 。 
十 述 引 理 常 被 称 为 是 最 优 原理 。 记 
=inf{s!: ,Sp} 
定理 4. 35 设立 可 选 ,几乎 所 有 轨道 右 半 瞎 续 ,Y 1€ 过 ;， 
。225 。 


EA X90 之 0, 则 下 面 的 事实 等 价 
iD r 在 二 (或 上 中 最 优 ; 
和) X ,一 as 且 {rnseSe<ec) 是 封闭 蒜 ; 
ii XX, 一 4 8 昌 人 rntssssco) 是 封 肝 下 坝 ; 
iv) zO 在 到 (或 如 中 最 优 : 且 
Hamre tN | 08- C4.97) 
rT(U) ds. . C4. 98) 
证 明 内 过 ii)。 由 引 理 4.33,X 一 yp 人 这 ! 
=EX,=Ep= EE, | DE ns 
因此 pns=BCv| 训 5s) 1 而 | 所 ;| 二 |EX1=| Feo ;所 以 {yrns :tl 和 
所 co} 是 封闭 蒜 。 
ii 证》。 显 然 
过) 。 由 人 ns! 所 $s 忆 00} 是 封闭 下 款 , 故 互 二 一 所 抑 7 一 
5xr 国 此 最 优 。 
i 过 iv)。 由 妇 人 的 定 浆 ,可 岳 王 ( 委 T 人 3 因为 BX 过 
oo, 可 证 了 是 也 正则 的 ,因此 


-eX en ) 








= Cpr | en) 

一 在 -ec0] prt 《4 99) 
rt0<<co 时 ,由 大 的 右 半 上 连续 性 以 及 ! 一 TVX( 定 理 
4.24); 可 知 yew 二 Xn; 当 旭 一 co 时 ,由 (4， ?71) 式 可 知 (oc) 二 
XX 入 三 邻 5 一 o0; 则 3 一 X-, 因 此 由 (4.99) 式 1 

PR. (C4. 100) 


ls 











于 是 
RX en = Blend Elta rid 
=BillrroB Xen) tT Br lA 
< 一 有 一 
所 以 产 的 在 上 (或 CO) 中 最 优 。 
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iv 一 i) 。 由 (4.97) 式 ,(4.98) 式 . 
P=RX a Os Ey en Fir NO LN. 证 毕 
定理 4. 36 设 X 可 选 ,满足 假设 4, 其 几乎 所 有 轨道 右 半 上 
连续 ,1 天 Te 为 天 之 MRS, 令 下 (一 inffs 闻 本 故 蒂 
入 一 上 则 
i) z( 人 中) 是 最 优 停 时 ; 
1 如 果 六 膛 满足 氢 左 上 半 有 连续 性 ( 即 对 任何 停 时 列 到 + 
lmsupX+ sx [Lrceccje se ，, 则 情 (9 是 最 优 停 时 ， 
ii) 如 果 在 已 (或 0) 中 存在 最 优 停 时 (规则 Yr , 则 了 人 折 最 优 
县 rsST” ds， 
证 明 i) 由 定理 4.23 之 i) ,存在 半 之 MRS 过 程 ,因为 六 
的 几乎 所 有 轨道 右 半 上 连续 且 由 (4 33) 式 ,可 知 Xr 这 yr 一 2 
于 是 
EX 有 rr — Ee 
` 所 以 +( 力 是 :最 优 的 。 
ii) 令 一 inffs2>t nm 一 二 ) ‘7" 一 mm 由 于 了 是 有 到 正 
则 的 , 故 闫 一 六 一 linexX, 事实 上 ,由 注 3 及 引 理 4.17 可 知 环 所 co 


q. 3s 由 让 BX. 写 1 一 二 渤 EX 一 六 :于 是 VimEX., 由 疼 的 拟 
左上 半 连 续 性 碎 及 Fatou 引 理 
BX," EllimsupX,. ) limsup BX, 一 及 

显然 让 过 下 (D, 而 由 EX 守 W 尖 By 可知 X= 二 p.* ; 从 而 下 
(四 下 ,所 以 下) 二 T* 是 最 优 停 时 ， 
证 ) 语 基 的 右 半 土 连续 吕 工 一 7 十 YX, 易 证 Xp 一 rt ds 
由 为 最 优 ; 则 X= 二 ?所 以 ,7 和 T" ,于 是 
FF= EX C= By by, 0 = EX 


因而 (DO 是 景 小 最 优 停 时 。 证 毕 . 





= J27 4* 


现在 讨论 当 的 几乎 所 有 轨道 为 右 过 续 时 * 最 优 与 最 优 个 时 
问题 。 

记 o 一 inf {3 守 t 计 宇 训 一 ?) ,其 中 让 = iE | } 为 关 
之 MRS， 

定理 4. 37 设 半 为 右 连 续 适 应 这 程 ,满足 假设 4, EBX。 民 
coy tiE BE 00, 则 

) YY 0,2 守 0,0 (DD) ,7T() 均 是 XX 在 6 中 的 :最 优 规 则 ; 

ii 如 果 兰 还 是 拟 左 上 上 半 连 续 的 , 则 亚 ( 人 有 人 均 是 关 在 吃 
中 的 最 优 停 时 。 

证 明 iD 由 定理 4 36, 我 们 只 须 证 明 严 人 是 。 最 优 的 , 记 4 
— {re {tt =inf 4 ,0 (#) = 
inf 如 ,对 于 s 守 4 己 ,有 目 4, 随 s 递减 而 增 大 ,因此 (5s) C4 
四 , 故 limr (s)<&o()。 往 证 相反 的 不 等 式 ， 如 果 lHmr(s)<c'(D， 则 
必 存 在 Bo0) 当 Eesti 十 时 ,mrfs)<o 拓 fg， 于 是 相应 的 4, 之 贞 , 由 
此 对 满足 csst 十 的 s,4 一 囊 ， 因此 limr Cs) =—o (i). 

由 定理 4. 33 ,六 是 右 连 绕 的 ,而 由 假设 4, {Xii;8 这 让 是 一 致 
可 积 的 ,于 是 





EX = Blim Xe )>lmsupEXree 
这 limsupV ,ee 《4. 101) 
因此 人 是 "最 优 的 。 
由 (4.70) 式 ,ye 二 Xo 所 Bcco TCD<ee ga.s. 
ii 由 定理 4.36, 我 们 只 须 证 明 or 人 最 优 ,如 同 让 可 证 :7T*(s) 
yo 由 于 立 右 连续 耳 (Ct. 33) 式 成 并 ,有 评 % 二 yw, 故 


EX = Eyrin = Tree 
nbt 





limsupEhy,y — limsup EBX, 
ER #4 . 
一 limnsup P 一 六 {4. 1023 


及 而 opD 在 心中 最 优 。 
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注 10 我 们 在 上 面 的 证 明 中 已 多 次 用 到 等 式 = 十 YX, 当 
区 满 足 假 设 4, 且 YE 涡 ; ,EX 二 cc 时 ,由 定理 4. 10 可 于 以 保 
证 ,而 当 习 满足 假设 8, 且 六 (的 <co ,由 定理 4. 24 也 可 得 到 上 述 
的 结果 。 

由 定理 4 35 ,我 们 可 以 得 到 有 关 最 优 停 时 唯一 性 的 结论 。 

定理 4.38 设 X 可 选 , 几 乎 所 有 轨道 右 半 上 连续 ,Y 1, EX 
509, 之 09; 则 在 中 的 最 优 停 时 为 唯一 (a.s 等 于 下 (站) 的 充 要 
条 件 是 任 给 (DD 所 EC, 

Pr TN EX, | S00) = Xr =D 
(Cd, 103) 











对 于 m = 十 co 的 情形 ,有 

引 理 4.39 设 六 可 选 , 且 VY oE .了 ,存在 pE. 了 7 ,pz 使 HK 
过 co 对 固定 的 抵 沉 : ,VW 一 十 =, 且 存在 t 写 , 使 . 忆 , 关 (8,B, 零 
测 集 全 体 ) ,那么 如 果 在 5 中 存在 最 优 停 时 + 关 co a. st 即 P(r 过 
sc) 全 的, 则 必 存 在 无 穷 多 个 最 优 售 时 。 

证 明 “1) 如 果 最 优 停 时 r a,s 一 改 有 界 , 即 存在 常数 s, 使 
Ts 5; 取 递 增 的 数列 sa 半 s, 于 是 存在 递增 的 停 时 列 zt' 守 s' ， 
使 BX 之 吕 ,既然 5X, 一 了 == 十 oo0, 则 必 存 在 4E .3 ,11>P(40) > 


0, 使 [x 三 二 59, 邻 二 ze 十 th; 则 BX,* 一 Lx 十 [x ， 
注意 到 

| > 
可 见 fX* 二 十 中 , 且 PW 半 7)>0, 因此 存在 无 穷 多 个 最 优 停 时 。 


£2) 如 果 7t 不是 a. s. 一 致 有 界 的 ,又 PIT<eo)m0, 必 存在 * 弓 
沈 - ,使 1 六 Ptr 态 s) 守 0, 记 4 二 {fT 所 8} , 取 一 列 S25， 由 很 设 存 在 


EF nw 使 BX <o0. 当 [Xt 之 oo 时 , 令 
re - 


T =r Ti 





则 
EX,: 一 1. 十 | CX ,) 二 十 De 
四 


当 | x*= co 时 , 则 [x < oo , 取 一 列 5 这 soT 社 (ww YT) 十 1 ,使 
EX, oo. 

售 谨 二 Th 二) 则 pl 守 让 一 p(T>s)>0( 因 为 + 不 是 
5. 一 致 有 界 ) :而 

bX, 一 [x 十 | 一 | 本 一 ce 

因此 也 存在 无 穷 多 个 最 优 停 时 。 

定理 4 40 设 X 可 选 , 昌 Y rE 了 了 ,存在 p 空 9,PEE, 人 十 
EX 之 co, 著 存在 fEC ,使 EBX, 二 十 0, 则 在 已 中 最 优 停 时 为 
唯一 的 充 要 条 件 是 :Ys 守 1 也 ,一 (B,D, 零 测 集 )。 





$4.6 弱 单 调情 形 "*9 


在 离散 情形 ,我 们 称 可 积 报酬 序列 {X,,. 信 ,IT 属于 单调 情形 ， 
是 指 . 
D) (XBOX FIOEIX EX | } ,1 
2) U {XE | )}=0 as 
并 且 证 明了 , 当 人 2 一致 可 积 时 
S=inf{n2 1 NHCX, 1. 这 .) } 
荐 最 优 的 ,由 上 述 的 1), 易 知 
{XECK + | 这 } 一 《并 sup BOX | 芝 ,)} 
于 是 可 知 在 单调 情形 有 :Y rn 衬 1 . 
{XSup BOE, | 家,) } 守 {Xt Sup BCX, | ,多 + > } 
(4. 104) 
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(4 104) 式 可 以 自然 地 推广 到 连续 情形 。 
定 久 .6 设 (x%， 多 ss 是 轨道 右 连续 的 可 积 报酬 过 程 ， 
YEA oo (Fe my 满嘴 通常 条 件 , 称 (X,) 属 于 弱 单 调 
情形 , 刀 果 
DD) YE RL 0 
(Xesssuph (CX, | 于 } 己 {XesssupE(X, | 





《4. 105} 
ji U {Xesssuph( X. | )} = Cd. 106) 
由 定理 4. 20, 可 知 椰 在 控制 的 最 小 强 上 靳 (y0). 目 Y TGS 。 
y= esssup BOX, | SF.,) Cd. 107) 

Pe 


对 任何 pvE ,se 守 0, 记 (一 infl 守 7?: 久 之 访 一 8} ,有 

定理 141 设 (X,.F 0ew, 是 办 道 有 连续 的 可 积 过 程 '¥ rE 
EEX, om, 

间作 


ii 对 括 何 停 时 的 单调 增 序列 fr} ,pm 天 关 5 ,有 


BX ww ,limEXr, (C4. 108) 
则 
下 着 一 
证 表 ”由 于 YY TE EXT 之 co0, 加 风 的. 六 一 oo,y 令 bb.， 
记 


ETT) ,HH WX, e} 
可 证 了 满足 Zorn 引 理 的 条 件 , 事 实 上 ,由 (4.107) 存 在 12,7E 
使 EX =yAot) Nv rr) 有 
{WO EE 
一 
Forery Ky 
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Jr 一 
ee 
i EX) . 
所 以 EX 疡 BA 一 52p 一 5 这 表明 Ll 是 非 空 的 集合 ,现在 设 2 
反光 是 全 序 子 集 , 令 m 一 esssup2 则 Sr 入 7 ,县 存在 一 列 
TE 丁克 Tsup :由 (4, 108) 
BX. > limBX, > 一 e 
所 以 rt' 毛 了 1, 于 是 由 Zorn 引 理 ,存在 为 之 ,中 最 大 元 , 易 知 ， 
DD;: 往 证 0 一 7(WD, 由 于 Y PE 
BX, ,sn eo) 
一 县 (其 Fare ) ros tt Kon re {rere) 
ECy, | orn) ren ,na ripyd rin mp 


< rv crap 十 下 on rtrd rt py 








< hantn 二 e (C4. 109) 
如 果 oa! 关 r(9) , 刚 存 1E 过 ,使 
: PK ON to ET) 0 
且 
A Do rn) 


一 fo” AtSDON Co AtErT) ER, 
因此 
Xo da Ye es, 
= pe ne 
= esssup EC(X,|Fo an), ed 


HE rp" hr 
于 是 存在 pE Spot At 使 
有 (一 
上 述 括 号 中 集 台 有 属于 字 。r CC 久 nwow ;由 (4. 109) 
EX,arin | A is, 
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[ECX, | AD 一 
> Xs, 
定义 og=o'TsttpArTC) is ,Mo or ,or EF, 
且 
EXOEX," hb—e 
这 与 o" 为 ,中 极 大 元 巴 盾 ,这 样 o 二 +(w), 即 对 任何 58< 芭 y,， 
EXoow 二 BX 这 5 一 2, 从 而 
EXR Ey,— ee 
定理 得 证 。 
记 二 C0) 二 inf{f 这 0, 计 关 如), 由 于 对 任何 满足 im| 宛 


tr eo pf 


二 0 的 停 时 Pp, 成 立 Doob 停 上 定 理 , 因 此 有 下 面 的 推论 

推论 4. 42 在 定理 4. 31 的 条 件 下 | 

1 EX. 完 sup{ EX,,p 为 停 时 , 且 lm| 入 = 0}) 守 sup{EX,,p 2 
各 Ti); 

2) 如 (yD 正则 , 则 EX, 二 sup{8Xi TE }。 

下 面 假 设 X. 如 定理 4. 41, 且 

D 存在 (new 为 CesssupB(X,|. 久 1))ie 有 m, 收 正 ,使 得 (14)ve 有 a， 
为 右 连续 ,这 里 

也 一 {w; CP} 《4. 1107 
丰 YAE 有 于 44 | = (4. 111) 


十 


令 ov 二 inf {fy Xm} 一 in 人 人 4 
定理 4.43 * 一 nm,* 且 z 具 有 推论 4. 42 所 描述 的 最 优 性 。 
证 明 YY iE 统 . :由 于 { 半 字 CC! 这 久 ) ;因此 To2 社 T ;为 证 |] 
持 内 须 证 Wi 一 Xs 定义 了 二 Wx 十 das 这 CC0', 邦 
Y= pts Xa, 
=pla— pant Xd Xedaa 
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pia 人 
所 以 - 
EY, | OL pt, = 
而 和 且 CXD 委 OD) 委 人 )) 但 0) 是 控制 (X) 的 最 小 上 轴 ; 因 此 (C4) 二 
C0) ,所 以 当 mE 4 时 ,XX 一 
例 设 (2)rea, 是 一 个 非 降 的 右 连续 的 非 负 过 程 ,2 二 0， 
《多 由 是 的 子 代 数 族 ,满足 通常 条 件 ,W thE 这 -,¥E 骂 
EE OP 的 一 人 
CO, 
其 中 
Gy) -人 y > 0 
0, zs 
这 样 的 过 程 在 研究 次 序 统计 量 中 常常 明 到 中。 我 们 考虑 
=et cD,0<oa<l 
的 最 优 停止 问题 。 
注意 到 对 {0,F77 有限, 但 达 无限 ,对 NE 令 4 >0 


EC | 2) = | ydF ty) 2.) 





i , 
— re to | yrdte 7) 
加 


二 ee "十 上 | ye tdy | 


了 


售 一 sup{2e* 和 十 记 
Ci 


| se-ydy 一 ct 十 人 向 } ,并 记 
i 


dr 


EA | ey eet ah) 


出 

PO = et 

= 一 ee 个 十 | 一 | edy—e 
因而 


= O31 + 


1 


= 人 
SE 


记 P 寺 hz, 则 




















了 ly 1Y" 二- 1 | 1 b J—e 
二 := Re! nln Rn 二 2 
val pra 了 1 

一 了 "Tate ‘a > 1Y nt aia 
因为 当 z 宇 yy 时 ,laf (1 一 a) 坊 c, 且 
人 ,六 1 
2 Rl 十 1 一 a 
peo—1 . 一 站 一 站 1 
| 一 
1 1 
< je df— 一 一 二 0 
0 1— 


所 以 2 这 P 时 ,mp' (8) 筷 0, 因 此 
4 二 { 字 F) 二 {2 这 y) 
《4. 110) , (4. 111) 两 个 条 件 显然 满足 ,对 
oC=inf {ftE ,Sy} 
有 Pie>D) 一 PZ 之 让 ==e- 中 ,于 是 对 一 切 ,Bo' 有 限 ,对 停 时 的 
增 列 rsc, 有 
0 , 六 lm BZ? 





lim Br, EE SUP Tue<c co 


于 是 
BX limEX 1, 


» EE 


对 一 殷 1,X7 坟 c,; 因 此 由 推论 4. 42 
EX,—sup{EX, TE ,Er<Loo} 
令 Y 二 supX+ , 则 由 各 的 非 降 性 ,可 知 
sup(Z cen) YECHSup( A ce) 
对 每 个 rn 2 与 (vf max (vl) max( ye ) 
_ 同 分 布 ,其 中 mt sm 是 独立 同 分布 的 随机 变量 ,分 布 函 数 为 6 
"23D + 








(x) , 见 [40]。 
可 以 证 明了 二 = 人 22 人 oa 二。 所 以 , 当 t 由 po 


ES ,EX EY Lo0, 并 且 从 一 eX 才 (如一 卫 D) + 一 卫 人 ， 可 见 BX， 


六 一 0 和 这 oo ,因而 
EX,—sup {EX .te } 


§ 4.7 停 时 类 的 紧 性 


在 停 时 类 中 引入 某 种 适当 的 拓扑 ,使 其 成 为 一 个 紧 空 间 , 这 对 
于 研究 随机 序列 (过 程 ) 的 收 仑 性 以 及 最 优 停 止 问 题 都 具有 深刻 的 
意义 , 它 使 得 这 类 特殊 的 优化 (最 优 停 止 ) 与 分 析 中 的 优化 发 生 某 
种 观念 的 关连 。1977 年 Baxteer 与 Chacon 在 [47] 中 引入 了 我 们 称 
之 为 -CC 括 扑 的 结 档 , 后 来 L48,494] 多 用 它 来 研究 Banach 空间 值 
随机 过 程 的 最 优 停 止 与 多 指标 最 优 停止 问题 。 

设 ( 昌 ,玉芝 ,PYez ,是 满足 通常 条 件 的 概率 空间 ,特别 朗 指 
出 的 ,本 节 的 多 ,是 右 连 续 的 , 设 X 二 (XX,， 呈 0) 为 适应 可 测 的 实 全 
过 程 。 

定 党 47 设 T;RX [0,1] 一 [0,eo) ,对 每 个 fo 。) 闫 于 
第 二 个 变量 " 左 连 续 且 不 减 , 且 是 . 宛 X 号 可 测 的 , 则 称 了 为 随机 
化 XE 时 ,这 里 知 == 吕 [L011 | 表示 [0， 上 上 Borel 集 全 体 ，。 

定 浆 4.8 称 &8xf[0.1] 上 随 加 化 时 (有 他)X 珈 时 了 为 随机 化 
( 罗 DX 沈 个 时 ,如 果 对 每 个 上 GE- 腕 ,有 

{XX 
对 每 一 个 固定 的 %, 我 们 引入 下 述 了 的 一 分 布 。 
定义 4.9 设 T? 为 随机 化 ( 久 )X 旬 时 , 称 
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(os [O01 =sup{ 0 To EU = Tw, DE 


C4.112) 
为 了 的 一 个 oo 一 分 布 ,其 中 表示 520,1] 上 的 Lebesgne 测度 。 
T= ») (C4.113) 


显然 了 是 (多 )X 沼 随机 化 停 对 等 价 于 和 公 是 (多 四 停 时 。 
容易 证 明了 的 e 一 分 布 4(o,[0, 门 ) 关 于 上 是 右 连 续 的 且 增 
的 , 且 
Tio, 0) =inf{t: ACo, [0,02:} Cd.114) 
它 与 4Cw1[0, 疏 ) 互 相 一 一 确定 。 
和 的 o 一 分 布 4 具 有 下 面 的 性 质 ， 
i) 固定 一 个 e,4(o,，) 是 静 上 上 的 概率 测度 (4. 115) 
i 国定 4 [0,c0);, 则 4tw,[0, 门 ) 是 无, 可 测 的 〔〈4.116) 
其 中 巾 是 显然 的 ,对 于 让) ,我 们 可 证 明 
引 理 4. 44 4(w%,[0,1]) 是 CF) 可 测 的 等 价 于 TT 是 随机 化 
(( 记 1} XX. 客人 和 停 时 。 
证 明 设 宇 为 随机 化 (. 实 沾 XX 好 停 时 ,; 则 对 每 个 EL0,1j,t 演 
O00.7.(0) 寺 t!} 世 访 ,因此 对 于 [0,1]J] 中 有 理 数 列 (x.) , 若 令 
[mr 2 CO) ts 
fto) 一 10， 天 则 
则 庆 是 名 ,可 测 的 随机 变 甚 ,由 YG(w,5) 关 于 4 的 左 连 续 性 ,有 
{wr ACw, [0.1 ) Es} 
=—{w:sup{rT(o 0) 人} 
= {os {nT nC) et) sl 
一 { 





sup 六 Cm) 各 s} 人 ,多 ， 


反之 , 若 4tw.[0, 和 是 多 ,可 测 的 ,对 任意 的 e 守 0, 设 (r.) 为 
16,: 十 缮 中 全 体 有 理 数 ( 列 ) ,并 设 
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mr 4 [2 
.Cwm) 一 
! 十 1， 藻 则 
于 是 是 字 ,€9 4 可 测 的 ,由 A 的 右 连续 性 
{wT Cm) tl} 
= {wm:infis: A(o, [0,sD) E+) 
= {winf{r, AC, [O07,]) 0} A} 


= {winfato) ei = 


藉 而 了 是 (中 )X. 哆 随机 化 停 时 。 

记 六 为 全 体 t 灾 中 XX 禾 随 机 化 停 时 全 体 ;1" 为 全 体 满足 (4. 
115) ,<4 116) 的 4C，,，*，) ,为 全 体 (.F 1) 停 时 全 体 , 则 字 刁 /， 
让 与 是 1* 是 一 一 对 应 的 ,对 于 任意 的 o€ 字 ,与 其 相应 的 一 分 
布 。 : 

-ACw [L001)) = i nan 

下 面 以 C00,o0)) ,G4([0,o0)) 分 别 表 示 定 义 在 [0,20) 上 连 
续 函 数 , 有 和 界 连续 函数 的 全 体 。 

引 理 4.45 设 了 与 6 为 两 个 字 XxX 吉 随机 化 时 ,相应 的 分 
布 分 别 为 4C%6,，),8(w,，), 则 下 述 命 题 是 等 价 的 

i Peo, * JOGm, " ); (4.117) 

ji ACe, LD0,*» DBC6,L0,» J]) 《4. 118) 

十) 对 一 切 非 增 的 了 ECstL0,o0)), 有 


| repacoapo> reo nc C4. 119) 


证 明 DeiD 是 明 误 的 。 对 于 JE ca([0,co])， J# waco 
可 以 理解 为 广义 的 # 一 #8 积分 ,因此 容易 证 明 训导 诈 )。 反之, 如果 
存在 某 个 :EE [0,c2) 使 得 4(6,[00,t 有 之 Bm,[0,!), 则 由 A4,8 之 有 
连续 性 , 必 存 在 区 间 [1,5], 使 得 ¥ sE[ib],ACo[0,s]) < Bo, [0， 
sj]), 令 
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1 ， sE [0,0; 
rat se [td); 
0, 3 [ecoy) 
则 
| roaceoao 一 | roacovas， 
= Bo [0 — Ato, [0,) 
+ fC) BC,ds) — [re atoras) 
>Bw,L0,0]}— ACew, [0,#]) 
十 FLCBCo L021—)— CA [0.8]}—}] 
—fA CB TO — ACm [0,0]) 
>0 
逆 盾 , 引 理 得 证 。 
引 理 4. 46 了 为 (FX 名 随机 化 停 时 等 价 于 对 任意 的 1 及 
每 一 个 支撑 全 于 E50, 的 有 界 连 续 画 数 了 ，|fCs)4(owds) 是 多, 可 
测 欧 。 
证 明 必 叙 性 由 忆 一 s 积分 的 定义 可 得 到 , 往 证 充分 性 。 对 任 
意 的 >i, 令 





1， DOr 
FC = nr ft 1 
0 rt lAn 





则 f.(z) 是 有 界 连续 函数 ,0<f() 过 1, Fo Cx) ,supp 了 全 [0 
十 1 和 9), 当 充 分 大 时 ,supp. 全 [9.8], 于 是 由 假设 [f(z)4Cowdz) 
是 名 ,可 测 的 ,因此 4t6,[9, 相 是 多, 可 测 的 ,这 对 一 切 st 成 立 ， 
套 4ce,[0,1]) 是 多 4 二. 久 , 可 测 的 。 由 引 理 4. 44, 这 表明 是 
090) X 洗 随 机 化 停 时 。 

的 局 一 分 布 是 针对 每 个 w 忆 而 言 的 ,将 看 成 是 的 函数 
的 整体 ,我 们 引入 下 述 分 布 映 射 的 概念 。 下 面 记 鹃 。([0,cc)》 为 

*» 2390 。 





[0.ec) 上 有 界 Boret 可 测 函 数 的 全 体 。 
定 兴 4.40 设 节 为 随机 化 是 ,多 X 欧 时 
a LQ) XX B000)) 
由 下 式 定 羡 ;Y YEL(CD) ,和 (0,00)) , 今 
oY, AEFYfFT)= | | TT, 0 dap 
并 称 “为 了 的 分 布 映 射 , 这 里 用 黑体 的 五 表示 对 由 xd 的 数学 期 
望 。 显 然 
al¥ ,f) = re [re a ddP 《4. 120) 
如 果 将 = 限制 在 C8) XCst[0,co)) 上 , 则 可 知 
让 6 是 (CB)XCs([0,20)) 上 双 线 性 汉 函 ， (4. 121) 
让 如 7 了 Y 衬 0,f 非 免 , 则 
a ,20, atl;1)=1 ,la ,| 所 | Y | rl» 


其 中 
lr hi= | poplap ele=suplf(O) 《4122) 
iii) 如 人 Ef, 且 supp(7 生 [0, 生 ; 则 
ea( =a( BC | ,fF) C4. 123)- 





只 需 证 44. 123) 。 则 引 理 4. 46， | CD4covae) 是 . 宁 可 测 的 ， 
因此 af 有 (7 | 这 ,了 ) = [ube [reyaceds ar= fo 。 
[F640 1 9 apap. 


记 4 为 全 体 满 足 C4. 121) 一 (4. 123)? 的 分 布 映 射 , 有 
定理 4. 47 对 任何 =E 4, 存 在 了 和, 使 得 了 以 = 为 其 分 布 映 
射 , 且 在 PX% 的 意义 下 ,了 是 唯一 的 。 
证 明 由 (4. 114), 只 要 证 明 W azE A ,存在 4Co;[0,* En 
与 其 相对 应 。 : 
1° 首先 rrE En0<sYyrs1I ,有 
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l=at1.,1) 
一 aftr 1) 十 ed1 一 1) 
扫 用 工作 十 人 四 1 一 站 
一 下 了 十 加 (一 六 
一 1 


因此 
AF ,1)= C4, 126) 


利用 = 的 线性 以 及 (4. 123), 容 易 证 明 对 一 切 韭 负 的 YE 
《2) , (4. 124) 式 成 立 。 

2 固定 了 ELCQ),alY,*，) 是 Cs([0,o0]) 上 有 界线 性 兴 函 ， 
由 泛 尔 表示 定理 ,存在 [0,o) 上 由 有 界 变 差 函 数 诱 导 的 广义 测度 
tetY ,1) ,使 得 对 一 切 ,fE Cat[0,oc], 有 

,= rouoran (4. 127) 

上 且 易 知 车 了 宇 0, 则 pv 为 测度 ,将 ar, ) 延 拓 到 有 界 可 测 函 数 类 
0.50) 上 , 即 对 gE 各 wt[0,;oo]), 令 

| alY ,9g)= J a) (C4. 128) 

易 知 acY,。) 满 足 (4.121) .4.122),(4.123)。 事 实 上 ,我 们 
总 可 月 ECst[0150) 依 下 (0,00) ,wlY,，*)) 道 近 yE 泥 s, 使 | 


到 | 委 19| 委 时, 且 当 supp 记 [90, 生 时 ,还 可 要 求 supp 所 [0,1 十 过]， 


此 外 述 可 要 求 上 述 (#) 对 有 限 的 ZE 已 (9 满足 |. 一 9|m(Z， 
由 一 0 这 样 容易 验证 (4. 121),(4. 122) 式 。 至 于 (4. 123) 式 ,由 - 
9 
=limalY ,下 ) 
=lmaB( lr) /Alima(Y.,h) 


其 中 
241. 


了 CN 


YA YABB 
于 是 
Fal ff) —alle sg) | 
Sa ,Fats ,fT fal, f) 一 aCF ,9)) 
MY. 一 Y 十 | -geG- ao-=0c0r>eo) 
所 以 
a 0) =uBY | ,9) 
3° 由 2, 对 一 切 YELIQ) 及 gE. 吕 ([0,00]) ,alY ,g) 都 有 定 
疼 县 满足 C4. 121) 一 (4. 123) ,因此 对 男 定 的 有 理 数 上 太 ce,e(，， 
1009) 是 上 (8) 上 有 界线 性 汉 耻 ,由 表示 定理 ,存在 GEL(9) ,使 
得 
a aa = CY YEL CR) 《4. 127) 
由 4. 121)、C4.122) 式 知 当 8<! 时 ,CC Cm limC 1。 
可 以 假定 5 是 适应 的 ,否则 取 C 的 适应 修正 (G1 芒 ), 这 是 
因为 若 记 





H={o0— EO | Fm0: 
令 了 了 =; 则 
ElnC—= Eth | 
可 见 PR 一 0 于 是 存在 一 个 定义 在 只 X (i 有理数 1U{co}) 上 的 
适应 过 程 GC, 使 得 (4. 127) 式 成 立 。 
4° 取 A4t@,[0. 人 中) 二 inf{C,C60) :rr 为 有 理 数 }, 则 4Cw,[0， 
1]) 关 于 不 减 且 是 门 .六 ,二 人 ,二 多， 可 测 , 右 连 续 ,4Cw,[0,0])= 
DA E009} 三 1, 令 
Tw no) =inf {it ACw LD 
则 了 他 为 (有 罗 )?X 咬 停 时 。 
5 设 af 为 了 的 分 布 映射 ,¥ 5E 哆 ' ,有 


nC, fro.n) 
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一 iafafY ,Hro,]) 
一 infEFC， 
ri 
= EY inft, 
一 [ YaACe, [0 dr 
EE 


一 | Ym) | ACm. djdP 
他 [8.9 
一 如 《Pt 
类 似 地 可 推 得 ,YY 了 EDLC8) ,di 
atY rg) = CF , Hr.s]) C4,128) 
由 于 阶梯 函数 族 按 |， 上 目 在 CC[0,o0]) 中 稠密 ,可 知 2 一 
ea ,于 是 ea 是 了 的 分 布 映 射 。 
8” 最 后 证 明 唯 一 性 , 设 了 与 六 均 以 a 为 其 分 布 上 映射 ,它们 的 @ 
分 布 分 别 记 为 4,8, 则 对 了 EL1(82) ,fF 为 非 增 的 有 界 连 续 函 数 ， 由 
mrty ,Da ,fot 





即 ， 
| re》 [roatovaode= | ro) | roaceanD)az 
可 知 
fre atw, a) ~ se Bw) P—a. s. 

从 而 由 引 理 4 45,TCo, +: j=litw,*) Pda.s. 证 毕 。 

太 定 理 建立 了 也 与 4 之 间 的 一 一 对 诬 ,局 样 的 讨论 也 适用 于 
史 X 殉 随机 千 时 ,此 时 (4. 123) 中 取 多 , 王 空 , 且 对 了 ECeC0， 
_ co) 的 支撑 不 作 限 制 。 

现在 引入 本 节 中 最 重要 的 概念 。 

定义 11 称 了 (名 ) 为 卫 上 的 上 -2 拓扑 是 指 它 使 得 对 任何 
FE PTECALO. oD ,2E7 瞻 射 


PEFFOT) A | Y CFTC dadP 
| 

















为 连续 的 拓扑 ,这 里 光宇 罗 为 子 代 数 。 特 别 记 多) 为 关 也 就 是 
说 ,对 任何 网 (7.》C7,7, rere EYf(T)——EYf(M) Ga 
(YY, 有 alty, 拉 , 其 中 ,a 分 别 为 生 ,T 的 分 布 映射 。 

在 上 映射 丝 ;1 一 A 下 (定理 4. 47) ,4 上 相应 的 折 扑 记 为 客 , 则 7 
二 加), 客 也 称 为 8 拓扑。 

定理 4. 48 (1',7) 是 紧 拓 站 空间 。 

证 明 我 们 上 只 需 证 (4,%) 为 紧 空间 ,对 每 一 oeEAYEL 
CE C0 cD , 令 YY ,OD=al7,f), 则 富 就 是 由 食 (I， 
DYED(UF)FECEALN, cj) 诱导 的 拓扑 。 对 固定 的 FE Col[0， 
oo DD ,BD (DD=al ,是 CFF) 上 有 界线 性 汉 阔 。 记 == 人 a 


Co ,DaE A A= TT yg= Tg, 其 中 儿 , 为 (y(Y ,YE 
(做 )} 扩 诱导 的 拓扑 ,因为 |a(Y ,让 | 入 和 了 wf 了 ,可见 4 
是 (CL)),'( 强 对 偶 室 间 ) 中 的 有 界 闭 子 集 ( 闭 性 也 容易 证 得 )， 
而 线性 赋 范 空间 局 (多 ) 的 强 对 偶 空 间 中 有 界 闭 球 是 弱 * 紧 的 , 噬 / 
正 是 弱 * 拭 扑 :因此 宕 ， 是 紧 拓 扑 , 再 由 Tychokoff 定理 , 乘 拓 拓 扑 
罗 是 紧 的 ,而 T= ( 冤 ), 目 沁 是 卫 上 的 ,所 以 (让 是 紧 的 。 

由 于 了 与 1 是 一 一 对 应 的 ,8 一 0 拓扑 也 可 以 看 成 是 赋予 空 
间 六 的 ,容易 证 明 1" 是 紧 的 凸 集 , 事 实 上 ,YY 41,41€ 1 ,0<a<1， 
则 容易 验证 ,a4, 十 (1 一 a)4; 仍然 满足 (4,115) ,C4.116) 式 ,所 以 
7" 是 山 集 ,在 8 一 C 拓扑 下 它 便 是 紧 凸 集 。 

引 理 4 49 的 端点 就 是 非 随机 停 时 所 对 应 的 o 一 分 布 。 

证 明 X44E ND 为 端点 司 Y 非 零 的 4+ E74 十 轴 ,A4o 一 4* 不 
全 都 属于 1"(.51]) ,为 此 只 要 证 明 对 于 非 随 机 化 停 时 YY 所 对 应 
的 





A LO = i ea) 
及 非 零 的 4 ED 4 十 4 一 4 不 全 属于 六 ,事实 上 ,车 加 十 
4 后 六 则 对 任意 满足 了 os 委 [的 四 与 14(o[0OD<0O 而 4 
244。 





非 零 元 ;从 而 必 有 二 使 4 Cw,[0,1D 之 0, 于 是 4C@, 了 [01]) 一 4* 
Co [0,.1]) 半 1 ,于 是 4 一 4* 让 417 。 . 
将 随机 化 停 时 了 看 成 是 (BX[L0,1j]w 和 名义 渐 ) 到 ([09,00]), 淘 
《Lo0,ese]) 上 的 可 测 映射 ,我 们 自然 有 
定义 4.12 称 随机 化 停 时 列 公 在 学 ( 容 志 多 为 子 we 一 代数 ) 
上 弱 收 化 于 了 ,并 记 为 名 二 了 (多 ) ,是 指 Y CE 只 
CP XAIT,! |ex ou 习 收 襄 于 (PX 和 DTT! | ex rm. 
上 述 (PX 和 TT!|exrmu 说 示 诱 导 测度 PX)7-! 在 GxX[0,1] 
上 的 限 市 ,上 述 弱 收 僵 即 Y BE B([0,c0]) 
PXACPEBDNGXLIO TDD->PXATEB NGXL0,1]) 
由 测度 器 收 化 的 理论 , 它 等 价 于 ¥ ffE Cac[0,00]) 
| PD | HAPXKAD eo0) 
再 由 放 拓扑 收敛 的 定义 ,可 见 
PT GT 
引 理 4. 50 设 了 为 两 个 祈 X. 甸 时 ,分 布 映 射 为 ,8, 则 YY 
ELIR EGP) FEC LO, co]) 
ef 一 BF 让 《4. 129) 
等 价 于 对 任何 fECs([0,c0)),Y GE : 
J fa | sax 


《4. 130) 
证 明 取 了 一 疡 : 则 由 (54 129) 可 得 (54. 130); 反 之 ,由 (4. 130) 
可 短 . . 
站 roacoao= [GTAOR p—a, 8 
这 里 4,8 分 别 为 了 ,5 的 分 布 ,由 引 理 4 45 


Ts ” ) =itew, * ) Pg. 3 





所 以 
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下 
于 是 
a = ND, VTE BGP)IR FE (CCaCL0 oo])) 
5| 理 4.51 设 久 是 .下 多 事 时 ,名 CC 实则 接 madtPx 加 瞧 一 
地 存在 一 个 党 义 泥 时 ,使 得 Y GE 多 
| reopacexD= | Da XD (4. 131) 
对 一 切 JEcs([0,ce)) 成 立 , 如 果 YtE 弦 ; ,还 有 
ECEC*» [| FY)=E + | C4,132) 
则 当 条 是 5 旬 )X 妥 停 时 可 选 为 (多 站 名 ) Xx 咒 停 时 。 

证 明 设 s 为 多 X 咏 时 和 的 分 布 哑 射 , 记 有 为 = 在 二 (2, 凶 ， 
PyXCn([0,coJ) 上 的 限制 , 易 证 上 满足 (4. 121) 一 (4. 123) ,在 (4. 
123) 中 取 多 , 沽 多 ,4 所 唯一 对 应 的 加 XX 时 即 为 所 求 。 特 别 当 
为 (名 X 品 停 时 , 则 在 (4.132) 下 ,为 证 {可 选 为 CF1) XX 路 停 
时 ,只 须 证 明 :Y 了 ECat[0,c0)), 荐 supp(tf) 宇 [0,!], 有 

BF =atHO {EN ,7) 
事实 上 ,本 a 满足 (4.123) 式 ,了 为 可 测 , 故 
pOY ,FY 
=a{¥ ,ff). 
=—alB( | f) 
=athLEC |W) | , Ff) 
=a(BC | .FN GE) ,7) 证 毕 

定 尽 4.13 设 (8, 了 ,Fi,P) 为 一 慨 率 空间 ,名 CC. 实 为 一 子 o 
代数 ,xX 为 吾 值 随机 过 程 ,# 是 一 个 度 基 空间。 记 了 二 y( 密 ， *) 为 
由 全 体 映 胡 庆 。 

= {pF {nC 了 站 
所 生成 的 拓 站 .其中 ero oJ he D0p) ,这 里 ColB) 表 示 忆 
上 有 界 连 续 函 数 全 体 ,而 Y TE 
PY fh P= EYFOTMCXCT)) 
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也 就 是 说 ,Y 7 中 的 随机 化 停 时 网 ,一 TC 拓 扑 辣 下 ) 当 且 仅 当 ， 
时 和 多 
EY FOTIACXCOP Yr EYFOPIACXCT) ) 
显然 
T(E CY (GE, X) 
定理 4.52 设 (, 实 PP ,0 各! 各 20 ;名 CX 如 定义 4 
144Y EE 玉 + ,XX 蚌 号 可 济 的 , 且 Xoto) 对 几乎 所 有 ww 的 右 连 续 , 放 
CCF RED ,PIL OT) ,jr 有 HY TED C— 致 ,那么 
在 7(%9) 下 有 限 (modp) 的 极限 点 必 是 了 CS,X) 下 的 极限 点 ,其 中 
2[ 门 一 inf{ 亏 3 : 访 关 7 } C4,133) 


证 明 见 147] 之 定理 1.3。 
§ 4.8 B 值 过 程 最 优 停 时 的 存在 性 


现在 利用 BC 拓扑 来 研究 最 优 停止 问题 。 
假设 Banach 空间 值 的 随机 过 程 X= {Xi, .Fi,t€ [0,co]}， 
上 ， | 表示 Bannch 空间 中 的 范 数 ,假定 - 


Etsup | Xl <ee {4.134) 
和 是 右 连 续 的 《4.135》 
YoEF ,oom Xe»X, qa.s (4.136) 


这 里 右 连 续 及 一 Xe 自然 是 指 ‖X。 一 大 | 一 0。 
对 于 实 值 过 程 (8&) ,条 件 (4. 136) 等 价 于 拟 左 连续 性 及 XX 一 


limX, a. ss. 
下 面 的 定理 将 在 随机 化 停 时 停止 的 数学 期 望 与 停止 在 非 随 机 


化 停 时 的 数学 期 望 联系 起 来 。 
定理 41. 53” 设 人 ET,X 是 Banach 空间 值 的 适应 过 程 ,满足 
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(4,134) ,C4. 135? 穆 ， 风 
已 Xe 一 | ae om [4. 137) 
证 明 注意 到 对 国定 的 >E [0,1],7(. ,2 是 一 个 非 随机 化 和光 
时 , 记 人 了 的 分 布 为 4C@, 玉 ) ,KE 雾 ( 溉 4), 则 
ACw RY=A{r Tw NE KE} 
对 固定 的 v, 非 随机 化 停 时 TC ,区 的 w 分 布 
Are, CO EY = re rexrl 





于 是 
| nm Rd Ap TER}=ACm, KE) 
Le 2 


对 每 个 j2>1, 令 
P= Ce D/P) EE 


则 
EXrn= |X5(0) A L0H])Pde) 


十 ]& S00 BD) 


= |x; (mIACy: TC,) 攻 训 Pdw) 





十 [Wa 页 on 
J BY 


1 
一 J sxre. [dy 《二 。 138) 
令 生 co, 由 (4 .13 全 及 (4. 135), 得 | 
EXr ~ limEXr = Ex ,dr 


下 面 的 定理 表明 随机 化 停 时 的 引入 并 不 会 改变 最 优 停止 疝 是 


的 值 。 
定理 4.54 设 刘 是 Banach 空间 ,6:8 习 哆 是 连 续 的 凸 函 数 ， 


《xD 是 8 值 适 应 过 程 ,满足 (4. 134) (4 135), 则 
Ve 全 supOCEX,) 一 SuPCC EXr) ‘4, 139 ) 
rE TEr 





" 218。， 





而 且 如 果 两 个 上 确 界 有 一 个 达到 并 且 有 限 , 则 另 一 个 也 可 达到 且 
有 限 。 
如 果 存 在 EET 之 oo dPXdh ws; 使 G08X5) 一 Voy 则 必 
存在 SET oo &, ws 使 
CCBX。 一 Ps (4. 140) 

. 证 明 车 [二 oo; 则 (4.139) 不 证 自明 ,不 妨 设 Veco, 如 果 
YY PE LAGCBEXr) 才 Vos, 则 (4.139) 式 也 自然 得 证 ,因此 ,我 们 可 以 假 
定 存在 T7601, 使 (EX5) 半 Fo, 注意 到 千 (， ,1 所 字 ,由 Jensen 
不 等 式 

Ve GCEXs ) 
一 如 [ | ear » dy)} 
< | .ocx ydy 


< | 
一 上 《4. 141) 
矛盾 。 因 此 (4 139) 式 成 立 , 由 (4. 141) 式 ,对 几乎 一 切 mG 
(RXs 0) 一 Fe， 
如 果 存 在 各 EDT<eo gdPXdh 一 和 3 使 GBSX 二 Vs; 则 对 
几 平 一 切 fooofaoya< eco) 王 1, 于 是 在 将 上 全 TTC 9) 090， 
dpe 81 有 PET GBA on) 一 re 证 毕 。 
关于 8 值 随机 过程 最 优 停 时 的 存在 性 ,我 们 有 如 下 的 主要 定 
理 , 它 的 证 明 依赖 于 一 系列 的 引 理 。 
定理 4.55 设 (8, | ， |) 是 Banach 空间 ,6:8 为 连续 的 
凸 函数 , {Xi,tE [0co]) 是 有 值 的 (多 适应 过 程 , 且 满 足 C4, 134)， 
(4 135) ,C4. 186) , 则 存在 一 个 非 随机 化 停 时 =E 写 ,使 得 
CCBX 一 Po 一 supfGfBXirE 元 ) 
=—sup (GCEX) :TE I} Loo (C4. 142) 
.249 。 











为 了 证 明正 面 的 引 理 , 引 和 下面 的 记 导 , 训 了 ECCBX BYCBXB 
Y(t —=sup{f (XO Cr ,ts E10,oc] 
. (4. 143) 
固定 >0, 对 每 个 形 如 玄 的 数 4 及 整数 m>0, 令 
Hm) = {0B ti) ) >) 4144) 
显然 
YY 2,n,m 为 正 整 数 . 令 
Rn m)} Cm) =inf{ > ;总 全 有 ( 宛 ,I 
如 果 上 述 {…} 为 空 集 , 则 定义 | 
RCRSM)CO) 一 oo C4, 146 1 


显然 RC4,m) 是 ( 凶 ) 停 时 , 且 . 
Ra 1 mR mm) ROnmT 1 Rm) 【二 ldr} 





令 
HCm) ~ lim RC, m) (4. 148) 
k= lim Rm) C4. 149) 
引 理 4.56 设 XX={, 这 ,0E1S&o0} 为 8 值 的 右 连 在 极 这 
程 ,是 (了 ) 停 时 ,使 得 WY C2,) 停 时 列 必 ,不 58, 有 
XOSIXCH) Ny a.s. (4. 150) 
则 
PR<S 们 一 0 (4. 151》 
这 里 ,x(5J 一 KKS) 表 示 强 收 伍 , 即 ‖X(S 一 XC8) | 一 0. 
证 明 出 X 之 右 连续 性 及 f 了 ECCEXB), 易 证 . 
BY CRO m) Rr) + | Fn) ee CROsm) eo) 
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于 是 对 任意 的 (1) 停 时 
| | YR ,mm) ROMY | Lap (Rm) EY 
[RE me 

由 x 关 的 右 连 续 性 及 FECCEX BE) 

Y ORCasm) ,Casa 十 二 )->YCRCaD RM) + ) Curo0) 
因此 

| Y CRC RORY + LIP (Rm) LE) 
[itm) es] - Th 、 


令 SH 则 
| rn ROM LP ED 
[tmy 裤 呵 nt 
| G4. 152) 
令 
inf{r RCM) rROm) + XR Ys XC) )> 访 } 
扇 (1m) 二 " 


RCm) 十 十, 如 上 述 集合 为 空 
(4.153) 
显然 ,SG 也 是 4 多 四) 停 时 ,由 习 之 右 连续 性 ,如 果 YC(ROm) ,Gm) 
1 £ 
XCRCOm) ,XCSCm))) 
由 4,152) 式 及 0 太守 1 
PCY CREm) CW) 十 去) 六 二 用 轴 ) 才 办 之 六 PRGm)) < 
在 CR< 委 让 上 ,am + As.Sfmy Rs 于 是 
FOXCREMRYY XSD) Dm 00) 
有 而 
PIR =0 
引 理 4.57 对 任何 多 , 停 时 1 及 这 0 
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BY CU t+ 人 (4. 154) 
证 明 令 WL]inf{ 艺 2t ,对 := 页， 


sro!) 
于 是 

[aT]=ON (BZ | ra) >e} 

=[V0=AN B+) | > 

因此 在 [6Ey]= 人 站 和 (Z[ 订 和 60) 之 e} 上 ,RG,m)<t, 所 以 

RO,m) UE] 

六 CC 让 ,PE 十 过) DSSPCRCimDstL 门 ?十 
再 由 右 连 续 性 ,得 

DT 


(4. 154) 式 非 证 。 

引 理 4.58 设 多 是 可 数 生 成 的 , 即 存 在 一 列 集 合 Pi,F;,…， 
使 得 多 一 c(CP ,Fi…), 则 相应 的 5 一 0 拓扑 空间 (六 :7 是 列 紧 的 ， 
也 即 对 任何 戎 机 化 停 时 列 (7) 志 六 ,存在 子 列 包 傅 BC 所 扑 收敛 于 
TE 

证 明 众 知 ,如 果 让 基 可 度量 化 空间 , 则 由 (1',7) 的 紧 性 可 推 
得 ,站 是 列 紧 的 ,由 Yrysohn 定理 ,只 要 证 /是 具 可 数 基 的 正则 
的 个 空间 ,由 于 是 .名 可 数 生成 的 , 易 知 了 具有 可 数 基 , 往 证 Y PE 
让 {7} 是 闭 的 ,如 果 色 二 ?一 oe, 即 BYf(?) 一 8YF(o), 则 由 定理 
4.47, 可 见 了 二 0。 a.s. 因此 {TP}/ 守 人 7}), 即 {17} 是 闭 集 。 

往 证 (7,T) 是 正则 的 。 设 ET,K 为 了 之 闭 集 ,7 后 KK,K' 为 开 








集 
Ee={ {a i fTEL DF, P) FECLO, co 了 ])， 为 
上 的 开 和 集 } 
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由 TEK', 必 邦 在 了 了 ELGGE, ,PECsCL0,eo])y 及 下 土 开 
集 世 ,使 得 TE eT ,有 0) .而 KCC i(fY) (5, 令 z 二 alY ,站 ) 
《7) ,网 xz 上 有 联 E 上 和 开 集 及 VV 使得 xEl,W 守 1 , 且 PF 站 = 由 ， 
.那么 a1 CD solY ,人 70) 均 为 开 集 ,两 者 互 不 相交 , 且 TE 
a a1, 让 (VY ,这 表明 (1, 了) 是 正则 的 ;因此 
7) 是 列 紧 的 ， 
引 理 4.59 设 他 } 是 取 值 于 有 限 集 天 EL0,c] 的 随机 化 停 时 
列 , 罗 一 -PE 人 CstE 天 为 Bochner 可 积 的 怠 过 程 , 则 对 每 个 4 
EF 


ElXr, —— El Xr 《4. 155) 


证 明 设计 二 Prals HuE BFAE FT st oo NER 风 
1 . 
| Ela Xr — EfaXr | 
SE ZhexKANBXLO NTT, = 
~PXaAANF XLO NXLO1INIT=0D) | -0 (oo) 
C4, 156) 
当 XEK 是 Bochner 可 积 时 ,对 Y se 汪 0, 每 个 iE 存在 有 限 
值 函数 
Zi 2 Gide, 
使 得 8X 一 2<Ze, 从 而 
EL Xr ~ Ela Xr 2Ket Ear — ElaZsl 


由 (4.156) 及 :之 尾音, 可 见 
El Xr — El Xrl—0 (Ra—r oo ) 


了 
引 理 4. 60 设 孚 - -一 了 人, 且 
limsupP xX A Sa) =0 


{XtEL0,201]} 是 8 值 适 应 过 程 ,满足 C4.134), 且 YY 4 名, 对 
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{4.157) 


一 致 地 有 
ElXrn— ElaXs (jro0) (4, 158) 
则 有 
ElXr— ElXs (co) 
证 明 由 不 等 式 
EL Xr — ElaXrl 
NE Xr — ElaXr en {+t EL Xr — ElaXrcnnsl 
+ EL Xr ns EfaXatnnslt Et Xrrnns— EtaXrl 
(4. 1597 
并 注意 到 {TL 站 六 站 [7T >j—1], {T[ 媚 沁 说 夺 {P 宕 1 一 1} 由 以 4 
158) 知 (4. 159) 之 第 一 项 趋 于 0, 由 (4. 157) 知 第 二 ,第 四 项 趋 于 0， 
而 和 由 (4. 155) 知 第 三 项 趋 于 0。 
什么 条 件 可 以 保证 (4. 158) 式 成 立 呢 ? 
引 理 4.61 设 {Xi,tE[0,co]) 为 满足 C4. 134) 的 值 适应 过 
程 , 假 定 Y c>0, 对 非 随机 化 停 时 列 {0.) ,车 limsupP《o,>@) 一 0, 则 
limsupp CX ca —Xo, le) =0 (4. 160) 


HT ,4. 157) 式 成 立 , 则 对 # 一致 地 有 


BlaXstn— BX (jo0) 
证 明 由 564, 134) 式 不 难看 出 ,只 须 证 明 Y cn 





limsupP x HX O— Xr =0 《4. 161» 
如 (4.161) 式 不 成 立 , 则 存在 m0, 存 在 子 列 w;, 使 得 

PXANXs CI Xr > (4. 162) 
图 (4. 157) 式 ,有 即 imsupPX UT 二 0, 则 知 ” 

limsupP{T (or) Ea) eo) a,s.r. (4. 163) 
事实 上 , 若 (4. 163) 不 成 立 ,那么 存在 "< 1,s>0, 使 得 对 任意 4, 存 
在 44 及, 司 
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PT LO a) 
注意 到 了 .tw,#) 关 于 + 是 单调 增 的 ,于 是 对 一 切 * 字 2,P(T, Co ) 
人 的 人 区 从 而 
AX PIT CO rai 
这 与 (4.157) 子 盾 , 所 以 (4.163) 式 成 立 ; 于 是 由 定理 的 假定 (4. 
160) 式 ,对 a.s 所 有 的 。 
limsuph Xr np Rr wc > = 0 
这 导致 与 (4.162) 式 的 矛盾, 引 理 得 证 。 
引 理 4. 62 . 设 {X.,1E [0,o0J]} 是 #8 值 适 应 过 程 ,满足 条 性 (4. 
134) 一 (4. 136) ,随机 化 停 时 列 . 
TE (4. 164) 
imeupPX ML,>a) = 0 C4. 165) 
则 Y AE.F | | 
ElX, > ElX: ' 
证 明 ”出 引 理 4. 60, 只 要 证 明 (4.158) 式 ,而 由 引 理 4. 61, 只 须 
证 明 :Y e>0 及 非 随机 停 时 列 (e 二 他 ,如 果 
limsupPto,.>a)=0 4.166) 


由 (4.180)2 式 成 立 。 
在 引 理 4. 56 中 ，, 令 9 一 十 co 
Trg) = zy + le yi 
Y ls,D) =sup{f (A NX.) sr) 
源 证 (4. 160) ,只 须 证 明 
supBY (0,0s 十 地) 0(jeo) 《4.167) 
由 引 理 4. 57 ,YY sf - | 
supEY (ous 0 + 郭 ) supP (ROE) 0n) 十 


注意 到 ,YY o>0 





PCRO2D) Eo Pm) PR < a) 
由 于 82 站 中 下 (4 151) ,4.166) 式 ,可 见 
limsupP (CR(2’) 0.) =0 
从 而 (4. 167) 得 证 。 
引 理 4. 63 设 {XwtEL[0,c0j} 为 8 值 适 应 过 程 ,满足 条 件 (4， 


134) 一 (4. 13863》, 随机 化 停 夺 列 ? 一 则 Y 4 后 .到 ElaXr, 





证 明 设 *:[0,cej 一 [0,1] 为 连续 的 增 函 数 ,y sE [0,1], 令 
二 当 之 ; 令 和 二 Xi 二。 则 (2) 仍 是 
满足 (4. 134) ~ C4.136) 之 B 值 适应 过 程 ,因为 #4。7, 志 1,(4. 165) 
式 满 足 ， 从 而 由 引 理 和 4 62， 了 Er El 此 即 ElaXr 
——r El Xr. 引 理 证 毕 。 

最 后 来 证 明定 理 4. 55。 

由 Te 之 定义 ,存在 一 列 (T Ct 使 得 

limGCEX:. )=Fe 

医 为 我 们 所 考虑 的 是 右 连 续 旦 值 适 应 过 程 ,所 以 不 妨 假 定 多 

是 可 数 生 成 的 ,于 是 (i,?) 是 列 紧 的 ,到 此 存在 子 列 7 ,使 得 了 
rT, 由 引 理 4. 63, EXr, ——EXr, TE ,再 由 5 之 连续 性 ,5G 

CEXr) 王 limGCEXz, ) 二 Wo, 应 用 定理 4. 54, 可 知 存在 非 随机 化 停 时 
蕊 了 F, 便 GCEX,) 一 Po 证 毕 。 





$ 4.9 离散 时 间 B 一 C 拓扑 的 注 


本 节 的 内 闪 应 该 归属 第 二 章 ， 但 为 了 简便 我 们 以 注解 的 形式 ， 
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扫 它 作为 84.7 ,人 人 8 的 特殊 形式 而 列 出 ， 

设 (D, ,Pn 人 是 一 个 完备 的 窒 党 空间 ,之 : 己 祁 
CF, Fm0(U. CX .EV) 是 适应 可 测 的 实 什 
过 程序 列 , 这 里 玉 ={1,2,…… 505)。 称 ;XX [0,1] 一 - 注 为 随机 化 
多 X 咕 时 .如 果 它 是 双双 切 可 测 的 并 且 约 定 To'， ) 关 于 第 二 
个 变量 是 不 减 的 ,如 果 还 有 

{C00) To) Al EF, 
则 称 节 为 ( 史 ,) 停 时 , 即 稍 机 化 ( 锡 ,) 停 时 。 

全 体 随 本 化 (有 史 光 停 时 记 为 上 ,全 体 ( 空 ) 停 时 记 为 多 ,对 每 

个 ET, 称 





A RR)=Aw, wv) ER} 
为 于 的 马 分 布 ;其 中 oE 吕 KG 
显然 4 具有 如 下 性 质 
1) 对 固定 的 wER,A(m,:); 是 -了 上 的 概率 测度 ; 
2) 对 固定 的 #EYACw,{n}) 是 .名 ,可 测 的 。 
记 上 "为 全 性 满足 上 述 性 质 1),2) 的 函数 #4Cw,*) 的 全 体 , 则 了 
与 ’ 蚌 一 一 对 应 的 ,对 4€1" ,相应 的 随机 化 停 时 。 
To vr)—inf{a€E FACom, {1 ,2 ,Ry rs} 
非 随机 化 个 时 «a, 看 成 是 特殊 的 随机 化 停 时 , 它 对 应 的 % 分 布 为 
ACm, {n}) 一 二 ea 
在 上 的 8 一 C 拓扑 是 措 对 所 有 的 xE- 广 及 YE 入) 使 映 
射 4 | C6)4(o,{w})PCaw) 为 连续 的 拓扑 ,由 于 1 与 人 的 一 一 
对 应 ,加 在 上 的 BC 拓扑 ?的 意义 是  、 
VT Sm (TD) = LT) 


对 一 切 zE- 丸 及 了 EEC 灾 ) 成 立 。 这 里 站 站 总 =- 
征 最 优 停止 问题 中 ,我 们 总 是 考虑 某 一 个 报 翻 序列 { 世 ,多 .sn 
所 -人 } ,因此 可 以 认为 是 可 数 生 成 的 ， 如 同 引 理 4. 58 ,BC 拓扑 空间 
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《7 是 列 紧 的 且 有 完全 类 似 于 引 理 4. 49 的 结论 。 
对 于 适应 实 值 序列 { 人 ,有 anELY) 可 以 证 明 :Y 了 ET 
EX;= [axe.. dy 1 (4d. 187) 
且 . | 
SuPEXr 一 sup EX . (4. 168) 
上 式 中 , 如果 有 一 方 上 歼 界 可 以 还 到 , 则 另 一 方 也 可 取 到 。 
如 水 (如 ,多 nrE-t 是 适应 的 Bochner 可 积 的 8 值 随 视 序 
到 ,8 ;8B 为 连续 是 函 数 , 则 
SIpO (EXr) = supOC EX,) (4. 169) 
而 且 ， 如 果 上 确 界 方 达到 上 有 限 ， 则 另 一 - 方 也 可 这 到 且 有 限 ， 如 
果 上 确 界 被 ZE 达到 , 且 和 之 codp 义 中 一 gq. s; 则 必 有 06EF ,06 
oo 也 一 g. 8. 使 得 cx 2) 取 到 上 述 的 上 确 界 。 
下 面 讨论 8 值 适应 序列 的 最 优 停止 问题 。 
引 理 4. 64 设 随 机 雍 停 时 列 .一 一 TE 7, 则 对 每 个 Bochner 
.可 积 的 随和 机 变量 ?了 及 fE CC 
Blar fT ) ~ El YT) - cd. 170) 
证 明 ”固定 fFE ca 人 多, 首先 假定 了 是 简单 的 8 什 薄 数 , 基 了 
二 E12; 则 对 每 个 HE 1 ,有 


li 


BF = aE) 
TS 


由 字 ， 一 > 可知, 对 i 二 1,2,0 EC 因此 
《4. 170) 对 了 为 简单 函数 成 立 。 

对 于 一 般 的 Bochner 可 积 的 了 ,对 固定 的 : 沁 0; 必 存在 简单 菌 
数 双 ,使 二 性 一 下: 和 se 那么 对 任意 的 了 Er 

BYFCD 一 CsSellfl 
对 艺 应 用 [4.170) 式 ,于 是 可 证 对 了 的 (4 170) 式 成 立 , 证 毕 。 
引 理 4.65 设 (X,,n€ -人 } 是 4 值 Bochner 可 积 的 适应 系列 ， 
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EA Xr 依 分 有 收敛 到 
. Xr， 如 果 还 假定 5 supllx, | <ce , 则 Y 4E€ 祈 
ElsXr 一 已 /KKr 
证 明 ” 先 证 明定 理 的 后 一 部 分 , 即 设 吾 sup. 上 |X. 中 过 oo, 固定 某 
kl AE FB 及 iE 
NELX — EtsXr]| 
SELneg, soXr, —Elano,ss Xt |Eiants,>s¥ — Elance>w Xl 
+ ||Bianeer<o (Xr — Xo nec Ce 长 | 
因此 
|ELi Xr — El Xr 
< 2 MELard 《 — Elzd (TD 
+ El Ko rm CPO — EX dt (TY - 
-2EL, Sp B&O ll 


因为 X. 一 一 X ,以 及 理 SupillX, <ce ,最 后 一 项 随 ce 而 趋 
于 0， 第 一 .二 项 则 可 应 用 引 理 4 §4 而 趋 于 0, 震 此 本 引 理 的 第 二 部 

上告 证 。 

往 证 第 一 部 分 , 即 证 对 每 个 5 上 的 有 界 连 续 的 实 值 函 9 要 
-证 Elg Xr ) -本 OXF) Cao0) 为 此 令 如 二 g(X,) nTY， 于 是 ZZ 
Ho 51E sup | 各 <oo ;由 上 所 证 ,Y¥ AE HF 本 (和 一 
CK7) Coo) .证 毕 。 

引 理 4. 66 设 人 3 小 :上 为 Banach 空间 .GDB 沉 为 连续 函数 ， 
【和 A 了 沟 B 愤 适 应 序列 :EE sdp| 区 ,<ce ,再 、 — Xx., ’ 
则 存在 随机 化 的 停 时 了 ,使 得 | 

CCEXr) = =sup {GBX) :WE Too 

证 明 因为 只 需 考虑 可 数 个 随机 变量 XX,, 不 妨 假 定 罗 是 可 

数 生 成 的 ,由 | 的 定义 ,可 选取 一 随机 化 停 时 序 询 ,使 im6 
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(EXr) 二 Vo, 由 于 《7,7 了 T) 是 列 紧 的 ,因此 存在 C7) 的 子 列 (7,) ,及 人 
EA, 使 得 ,一 一 7, 由 引 理 4. 65,8X 一 “5BXr, 再 由 @ 之 连续 性 
可 知 

OEXs, 0(BXr) foo 证 毕 
下 面 的 定理 给 出 非 随机 化 最 惰 停 止 的 存在 性 。 
定理 4. 67 设 (8,|*]) 为 Banach 空间 ,686;8 王 过 为 凸 的 连续 
函数 ,{X,,nE 万 } 为 日 值 过 程 , 目 下 suplxsD<oo -一 Xe 
ceo) , 则 存在 非 随机 化 停 时 “ 红 咏 ,使 得 

BR) 一 Fe 
=gup{G(HX NTE TF ) 
~sup{o(ENY :TET oo 
证 明 由 引 理 4. 66 及 (4.169) 而 得 。 
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第 五 章 ”马尔 可 夫 过 寸 程 的 最 优 停止 四 


如 同 离散 参数 的 情形 ,我们 希望 对 一 大 类 连续 参数 (时间) 的 
马 氏 过 程 ,其 值 画 数 F(z) 也 具有 过 份 性 与 正则 性 ( 比 较 定理 3. 17， 
3. 21 与 3. 26) ,这 个 事实 是 正确 的 ,代为 了 证 明 它 ,为 了 研究 此 时 
最 优 停 时 与 :最 优 停 时 的 结论 ,我 们 将 需要 一 般 马 氏 过 程 与 鞭 论 
的 更 深刻 的 结论 。 


8 5. 1 预备 知识 与 基本 定义 





设 (&8,.) 是 可 测 空间 , (多),t E A 是 多 的 非 降 子 = 代数 
族 , (5， 机 个 状态 空间 ， 也 有 即 它 是 一 个 可 测 空 间 ， 且 每 一 个 单 
点 集 {z} 

六 CD EE ZZ= 久 或 2 二 [0,oo], 是 取信 于 (8,. 客 ) 的 
随机 过 程 ,对 于 每 一 个 x EE 是,P. 是 定义 在 .上 的 概率 测度 。 

定 艾 5.1 称 关 = CX PEZL,YEE 为 一 音 次 的 马 氏 过 
程 ,如 果 

DY AEX,PAA4) 是 xz 的 可 测 阔 数 ，; 

2 +E EBE Bs ES 

P(X EE BS) =PXEB Pa.s. ‘(5.1) 
3)P, (Xo=2) =1,2EB . 
4 站 及 uiE 吕 存在 瞧 一 的 吃食 身 , 岂 得 对 一 开工 
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Co) = Xone) (5. 2》 

如 果 2 一、 人 一 (0,15,2.), 则 XX 一 CX, 多 1,P,),t € -人 大 称 为 
是 离散 时 间 态 氏 过 程 或 蕊 民 链 ， 一 般 在 本 章 中 考虑 和 二 吏 | 或 琉 ; 
中 某 一 子 集 。 . 

如 记 实 7 = olo,X,s 太 站 ,1 EZ, 它 被 称 为 自然 oc 代数 族 ;: 如 
X= C1 XIE ER 是 马 氏 过 程 , 风 XX 一 (CXF? ,2)， 
fi 和 Zz EE 吾 亦 是 马 氏 过 程 。 

定 尺 5.2 一 个 循序 可 测 的 马 氏 过 程 芋 一 (x 这 1P) ,1 EE 2， 
z+ 扎 称 为 是 强 马 氏 过 程 ,如 果 对 任何 停 时 +, 定义 5.1 中 2) 式 加 强 
为 

P(X EBIF)=PAEEN ro Pas | 

C5. 3) 

众 知 马 氏 链 总 是 有 此 强 马 氏 性 的 。 

定义 5.3 一 个 循序 可 测 的 蕊 氏 过 程 X= (X31,P.) ,LE YZ， 
称 为 蚌 拟 左 连 续 的 ,如 于 对 任何 停 时 so,X。 是 . 实 。 可 测 的 ; 且 对 停 时 
增 列 mr+r, 有 

NT — XX, Top PP 一 et (C5, 4) 

记 Per 二 PAX ED 7xE RIE Bt 2, 称 光 数 PG， 
zx, 站 为 马 氏 过 程 X 的 转移 泪 数 ,由 定义 5.1 可 见 

1) PQ,z,*) 对 一 切 x 七,t EZ 是 (8, 宫 ) 上 的 测度 ， 

2) P( 1) 对 每 个 上 E ZE 党 是 过 可 测 岁 数 ， 

3) 《Kolmogorov 一 Chapman 方程 ) 


PC -HH ex,1) = | ce Ps, dy) C5. 5) 
AYPCO ,zsp) = Lz) 
定 闵 5.4 称 一 个 轨道 首 右 连续 昌 拟 左 连 续 的 强 马 氏 过 程 为 标 
淮 马 氏 过 程 , 如 昌 


ly Ye SB, = Br; 
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2》 状态 空 间 仿 , 哆 ) 是 半 紧 的 , 亦 即 至 是 一 个 局 部 紧 的 
Hausdorff 空间 , 且 有 可 数 基 ,这 里 .天 二 zx( 客 ) , 喇 为 拓扑 空间 下 上 
的 开 集 族 。 . | 

设 # 是 ( 届 , 软 ) 上 任 一 概率 测度 WV 4 所 名 令 让 (4) 一 
] .9D4ldz), 记 B: 为 轨 关 于 的 完备 化 ,5 二 门 2", 琴 二 站 .， 


站 PD 为 上 在 仿 上 的 扩张 。 
由 [43j] 定理 3. 12, 如 果 X 一 (CX,F,,P,) 是 标准 的 马 氏 过 程 ， 
则 入 二 (Xi 可 1,Bx) 也 是 标准 的 马 氏 过 程 , 因 此 我 们 今后 总 假定 ， 
-FF 《5. 6) 
记 82(E, 和 各) 为 有 界 的 多 可 测 函 数 f 一 f(z) 的 全 体 ,Y 了 所 
Bt 玉 , 当 ,定义 范 数 fl 一 sup|fKz)1, 对 每 个 fE BtE, 各 ) ,定义 


算 子 。 








za) = | FCP,aray) 5.7) 


它 是 BtB, 洛 ) 到 其 自身 的 有 界线 性 算 子 。 
线性 算 子 族 {和 ,t E 2 构成 一 个 半 群 ， 
和 
记 CBE BE, 用) 为 有 界 的 可 测 连 续 国 数 族 , 其 中 (2， 
老 ) 满足 定义 5.4 之 2). 
定义 5.5 算 子 半 群 全 EY 了 } 称 为 是 Feller 半 群 ( 相 应 地 ， 
Paz7) 称 为 Feller 函数 , 马 氏 过 程 六 称 为 Feller 过 程 ) ,如 果 Y 了 
€ CBE) ,t EE 7, Tf VD 是 x 的 连续 函数 ， | 
由 定义 5.1 之 习 , 对 每 个 ER,iEZ 可 定 闵 推移 算 子 必 使 得 
KAO) 一 Kp ssES 
对 于 和 随机 变量 一 x6), 定 广 - 
| EE 
设 + 是 随机 变量 ,同样 可 定义 而 @ 二 丰 www 如果 7+ 取 慎 于 = 
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[0,c=o], 则 妃 仅 在 如 二 {airrol < oo0) 上 有 定 尺 。 
利用 推移 算 子 4. ,我 们 可 以 重 述 强 马 氏 性 (5. 3) 为 
如 果 # 二 jw) 是 一 个 可 积 且 字 * 二 octwsXs,s 之 ceo) 可 测 的 随 
机 变量 , 则 对 任何 停 时 7 
RCH) 一 EX Tmo Pes XER 
(5. 8) 
由 (5.8) 式 , 如 果 5 是 2, 可 测 的 随机 变量 ,是 ,2x 可 测 且 
Elt| < co Brle9n| < ce € EB, 则 
KE 一 BCEBreN) (5. 9) 
容易 着 出 (5.9) 与 (5.8) 式 是 等 价 的 。 
定义 5.6 称 Borel 可 测 ( 即 喀 可 测 ) 函数 ytzx) 是 客 。 干 半 连 
续 的 ,如 果 Y z EB 
也- (limg(X) 之 yCXu)) = 1 C5.10) 


记 B= {9g: ;9 是 Borel 可 测 且 噬 , 下 羊 连 续 的 ,一 ce 过 ri 扫 十 
oo 并 使 得 {gCXOD 位 中 为 可 分 的 过 程 }。 

在 最 优 停止 理论 中 ,yz 称 为 是 报酬 本 数 ,并且 一 般 地 设 过 程 
的 指标 集 邯 一 胸 ; , 称 V(z) 一 sup{BgCX ;TE 如, 且 BgCX,》 有 意 
叉 } 为 相应 于 报酬 函数 9 的 值 画 数 ,简称 为 值 函 数 。 当 上 述 的 TE 
了 时 , 则 可 定义 F(z) ,容易 证 明 





Flr) = sup Bo X:) (5.11) 
ETLgY 
Flx) = sup EogtX.,) C5.12) 
rE tg} . 
其 中 
Cg) 一 3 二 0 < co 
记 ， 


L 二 {9:9EB, 且 存在 rE2(9) ,使 得 P(r 二 1,zE EE) 
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当 gE 时 ,基于 它 的 最 优 停 止 问 题 是 非 平凡 的 ， 也 四 不 至 于 只 4 有 
一 个 = 属于 性 (9)， 
有 (4 ) 一 {gE&€ B 且 满 足 4 条 件 , 即 ¥ EBB supg (XN) 





©0) 

BcA+)= 二 {9g€B 且 4+ 条 件 成 立 , 即 Y rE BB Sup 9” (XN)) 
oo) 

BCA- ,A+)—B(CA- YM BCA+Y 

工 (4+ 一 工 门 BC4+) 

(4 7 一 工 方 站 (4 ) 

工 (4+ ,A-)=LINBCA* ,A-) 


显然 
B(A-}=L(A-)ELEB 1 (5. 13) 
Bl(o) 二 tgEB 且 a 条 件 成 立 , 即 Y x ER,Bg- (CX )<o0) 
显然 
B(4 CTBTEB 
ECB 


天 "一 (9 后 天 ,9 是 多 连续 的 , 即 Y zB,P, (9) X > 
Best X29 XA) S97)) =1} | 


再 一 次 指出 ， 本 章 所 讨论 的 马 氏 过 程 均 是 标准 马 氏 过 程 。 

注 1 这 里 %%6 是 指 马 氏 过 程 状态 空间 的 内 在 拓扑 。 设 X 二 
CAP ,tlET 是 一 个 规则 的 马 氏 过 程 ,也 即 在 状态 空间 (8， 
写 ) 中 存在 转移 函数 Pltsszsty1) ,使 对 任意 的 3ET,ET， 有 
所 :区 , 有 

POXETI PY) =P (Xst,1) 
4, 是 的 子 集 族 ,GE Zo 是 指 ;YY xEG, 存 在 一 个 集 1'E 冤 , 使 得 z 
EIC6, 且 厂 的 首 出 时 zA 人 Ajinf{1E T,X 在 了 满足 
it> 0 EF HPrtr 0) =1 
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容易 验证 % 确 是 去 上 的 一 个 拓扑 ,下 面 证 明 

引 理 5. 1 一 个 Borel 可 测 函 数 了 是 罕 , 连续 的 充 要 条 件 是 : 
Vv 5 lim 2X.) = ft) PO— qa38,. 

证 明 ”必要 性 ,如 果 f 了 是 名 ,连续 则 YW 2 六 0,G 人 了 1 下 Cf(z) 
一 esftr) 十 8)) Es. 于 是 由 客 。 拓 扑 的 定义 ,存在 也 和 喀 , 使 得 
z 世 六 后, 于 是 ， 

TA INETE inffiETXN GAT 

因此 ,P.(f 守 0) 二 1,z€ 8 对 充分 小 的 4， XE GE IFCOXD) 一 了 (2 | 
< z; 此 即 





| lm CX) 一 f(x) P.- — .8 
充分 性 。 考 虚 任 六 实 数 4<5, 则 全 六 :01,8)》E - 瑶 . 对 任意 
rE 如) 二 4b, 取 : 充分 小 ,可 使 TA 人 Fr) cftr) 
二 说)C 己 0, 且 EE 滨 ,z EE G0, 为 证 了 是 呈 。 a 只 和 需 证 
{rt> 0 €E FHP(r0) = 
由 于 + 是 停 时 , {rt 六 0}) € Fn 是 二 入 只 天 下 Pr 一 0 一 1， 
. 将 会 导致 牙 拓 .事实 上 , 若 + 一 0 Pp, 一 a.s, 则 有 一 囊 440, 使 Xi 
EL AX) HN) > Pr a.sSlmfX) = f(z) b,— 
a.s, 矛盾 。 
注 2 设 X 是 强 马 氏 过 程 ,了 是 Borel 可 测 且 窑 , 连续 的 函数 ， 
是 停 时 , 则 VIiEeEE 
limf (Xr) 一 FOX Pa.s. 





证 明 


愉 


= {limf CX = Ke))} 
B= {lmf(X+) = F(X.)} 
则 
OA BDAY = NB 
由 于 pre 多 一 (信人 Nd) 多) 二 P, (QO\4), 有 
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PCON6) = | POA Pld) 


但 由 于 f 的 。 连 绪 性 ,Ys€ ,Pz(8N4) 一 0, 故 由 上 式 ,PzCQ\B) 


一 由 ,要 即 WWxEE 
limf CX, +1) = F(x), 天 :一 ad.8. 


注 3 一 个 Borel 可 测 函 数 在 处 是 安 ， 下 站 连续 的 充 要 条 


. 件 是 
lmf(X) Se 了 Kz Pi—as7TEE 


易 见 定义 5.6 就 是 关于 拓扑 名 , 下 半 和 连续 的 等 价 定义 。 
上 和 式 成 立 的 一 个 充分 性 条 件 是 : 设 /CG 为 紧 梨 ,z 人 CE 客 。， 
二 inf{t€EP, XED} ,0 果 P(r 4 0)=1, 则 lmEI(Xr) Fr). 


《[45]] 定 理 4. 9) 


5. 2 正则 函数 和 过 乎 份 函数 





定义 5.7 设 尽 己 到 ,函数 9 E B 称 为 是 正则 的 ,如 果 Y¥Y 
© 中, 总 9) 存在 , 且 对 一 切 mr ERpzrtr 关 pe) 一 1 有 
BAgCX)| FR) CIN), rER (5. 14》 
并 称 了 正则 为 正则 。 
定义 5.8 设 g EB 关于 马 氏 这 程 X = (0 多， 疡 ) 或 者 关于 
半 群 人 2E 有 } 是 过 份 的 ， 和 如果 V IE 有 后 有 昌 Te(z) 全 及 gx 
有 定义; 上 且 
Po) Sgr ECE Et E Rr (C5. 18Y 
过 份 函 数 具 有 下 面 的 性 质 
1) 常 值 疯 数 是 过 份 的 ; 
2) 过 份 沙 数 经 非 负 系数 的 线性 组 合 仍 是 过 份 的 ; 
3) 设 p027).4 二 1112, 是 一 列 过 份 函 数 ,g7 (OX) < oo 蕊 
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Rr limg, (x) 仍 是 过 份 的 油 数 ; 
47 设 9 是 过 份 画 数 . 且 对 某 一 个 如 后 BB (Xt) 过 o0st€ 
出 (COR Dr 襟 成 一 个 广 半 上 和 贰 , 即 于 1 池 3 
EzoLg CX EN) 0 Peo — a 8. 
如 果 还 存在 一 个 Pz 可 积 的 随机 变 晤 和 使 
引 这 BE C1), Pr 一 at 人 (65, 16) 
则 对 任何 >> 0, 左 极限 img(X.) Pao 一 a.s. 存在 . 且 {g(X) ,i 0} 
是 右 连 续 的 。 . 
证 明 由 五 :Kg 大 1 这 ,} 一 Es (spt Xs) 1) 一 EXgtY,,) 
一 人 A 8 可 多 (g( KD) FP: ) 是 广义 上 鞭 。 
一 个 上 蔷 {g(XD)' 具有 右 连 续 左 极 修正 的 充 要 条 人 性 是 ,g(tX) 
右 连 续 。 因 为 gtX) 是 二 的 单调 不 增 孙 数 , 所 以 它 义 等 价 于 
和 Yim XE 一 到] 序列 {9(CXt asPo) 是 一 个 控制 
正则 款 18K?| 吕 2)) 的 上 拷 序 列 , 因 而 它 下 一 致 可 积 ( 即 负 部 一 致 
可 积 )。 由 于 中 9) 过 ,gCX4), 所 以 只 须 证 明 
Broy(X,) < lim Brogt Xt.) 
为 此 记 4 = {ow: timg(X) 之 gr)}B 一 《ar DC 之 
CD ,显然 94 = 8268 一 0,p09N) = ONB， 由 蕊 氏 性 
ps (BI) = Ps (8) 
到 
Po CO BI|F.) 一 PX (BN\A) 
因此 
p, (ON\B) = | PX, Geo) 《5. 17) 


注意 则 yg 是 下 它 , 连 续 的 ,而 PCXo 一 7?) 一 1; 均 P(4) 二 1,P(B\A) 
二 0, 故 PX.C2N4) = 0, 因此 PLB 二 0, 也 即 Fs, Qimg (Xe 次 
9(X.))》 二 1. 于 是 
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RCN) SE, , me X, ) 所 Tim 如 CR) 


《5. 16) 式 获 证 ,这样 {9(X,)， sp, ,} 有 右 连 续 的 修正 ,再 加 上 yg € 
» {gCX) 是 可 分 的 因此 存在 与 19(CXD)+ 元 区 别 的 有 连续 这 程 ,在 
大 区 别 的 音义 下 .我们 认为 (9c) 就 是 石 连 左 极 的 过 程 。 
5) 设 过 份 函 数 yz) 满足 (5. 16) 式 , 则 它 是 多, 连续 的 , 即 
limg(X) = g(r), Pr—as. ,tteEE 《9- 187 . 
证 明 出 4 可 见 Ig(X)}) 是 右 连 续 的 。 
6, 设 Borel 可 测 函 数 g(x) , 取 值 于 (一 0, 十 00), 满 足 (5. 16) 
起 , 则 它 是 过 份 联 数 的 充 要 条 件 是 
TX EG) YE REE (5.19) 
limT,og(z) = gtx} (C5. 20) 
了 
证 明 必要 性 按 定 广 5.6,yg 是 二 ,下 半 连 续 的 , 于 是 
Pz (limg CX,) 宇 9(z)) = ]，, 因此 
gr) Blimg(tX)) 安 limE.gCX.) 
to T+ 


及 由 (C5.19) 式 








imih,g (Xs) < gC) 
以 而 (5. 2 站 成 立 。 
充分 性 ,只 须 证 9 是 %。 下 半 连 续 且 (9g(X)) 为 可 分 ,由 4 知 
Cg(XD) 与 一 个 右 巡 续 过 程 无 区 别 , 因 此 它 可 分 , 且 P, 一 as 不 
半 人 连续 。 





ps mg (Xo) gx)) 一 1 和 四 


7) 如 过 份 画 数 9 满足 (5 16) 式 , 则 对 任意 :0， gC2) Tg(r) 
也 是 过 份 的 ， 县 
Tigtr) < Tg (7), st 
8) 如 ff,9 过 份 , 且 对 其 一 m 后 至 E&F (CX) os Bg CX < 
; 则 了 A 9 人 是 过 份 消 数 。 | 
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9) 如 果 9 是 过 份 画 数 有 sup 局 9- (X0) < ce, 刚 己 一 as 存在 
极限 limg(X.(w)》( 有 限 或 十 <)， 
下 面 的 引 理 在 研究 值 函 数 Y(tz),F(z) 的 性 质 中 起 重要 的 作 
用 。 
引 理 5.2 ”设计 份 函数 了 E BC4-), 则 对 任何 两 个 停 时 7,0， 
若 P(t 之 0) 一 lzE 是, 则 
ErCf(XO BD) ETRY PosrtEE (C5,25) 
证 明 ”由 过 份 函数 的 性 质 4,5f(XD 史 ,PP) 是 广义 右 连 续 上 
鞭 , 且 由 fFE B84 ) 可 知 (X%) 二 mf(X)P, 一 as 存 在 ,¥Y 5 之 0, 令 
了 (7X) 二 f(z) 和 A5, 则 由 Doob 停止 定理 
EAPCOXD) | PF) SXG) 
由 Fatou 引 理 , 则 kr(limf(X, 上 实 。 )=Jlimf(X, ) ,类 位 于 引 理 3. 5， 
便于 证 明 (5. 25) 式 。 
定义 5.9 称 过 份 函 数 了 = 了 (x) 是 ygEB 的 过 份 控 制 , 如 果 Y¥ zx 
€ R977Sf(7) 成 立 ; 称 了 为 g 的 最 小 过 份 控制 ,如 f 了 是 yg 的 过 份 
控制 , 且 对 一 切 g 的 这 份 控制 函数 4 一 kh(z), 有 了 (2) 才 和 (7) ,rE 有 
设 y€E BC4-), 令 
: Ix) = yr) VY Tergtry) (C5. 26) 


引 理 5.3 设 g€BCA4 7), 则 . 
eE) = lim lim @* g tr) 《5. 27) 


是 gtx) 的 最 小 过 份 控制 ,其 中 名 gr) 一 C0.(9(7))))。 
证 明 令 mm(z 1iam@s9(z) , 则 由 定理 3.17 . 
vt) = sup EgCX.) 
tfE RIRY 
其 中 R&C) 己 .F 是 取 离 数值 { 充 :+ EY} 的 停 时 规则 集 ,(z) 是 过 
份 函 数 , 因 此 w(x) 六 14w(z)z 生性 ,对 任 一 站 和 六 由 洲 群 性 质 ， 
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TY 2 Cx) (5. 28) 
由 于 Rn) 安 RG 十 Do 坊 +1(7) ;极限 v(x) 二 limw(zx) 存在 ， 
且 (zl 守 q(x). 
在 人 5. 28) 中 取 严 一 2 人 则 
C7) 2 ip, Cx 
由 单调 收复 定理 得 . 
| | pr) 区 和 (zy (5. 29) 
往 证 xxz) 是 罕 。 下 半 迷 续 的 ,为 此 考虑 由 和 BC(4 ) 及 四 (x) 一 
pCXI) ,其 中 ! 固 定 并 属于 (0,co), 令 = 是 首次 进入 基 个 紧 集 的 时 
梧 , 且 中 (yy 的 一 1， 则 由 . 
EDXT) 一 BBX: POX) = BO PX) = BgCX, 14) 
及 Fatou 引 理 ,并 考虑 到 m 的 客 " 王 半 连续 性 ,有 
limB.PX, = mp(X, 0) 
br imgp(X 0) = Bg(X,) = Br) 


(5, 30) 
由 (45) 的 定理 4.9 可 知 , 中 是 罕 , 下 半 连 续 的 ， 这 表明 下 面 每 个 
Borel 图 数 
人 YY 一 有 W 72) 
wr) 一 lmQg(r) sz) = limv, (x) 





都 是 老 , 下 半 连 续 的 。 
往 证 #7) 的 过 份 性 ,对 任意 1 实 3, 取 二 进 有 理 数 列 7,1, 由 
《5.29) 式 太 Fatou 引 理 . 、 


af 了 1) 2 limn7mrpfz) = limB.r Xr) 
~ > BE: limv (Xr.) = BvtCX,) 一 Trtx} 
同时 由 g € BC4-), 可 见 s€ BC4-), 由 过 份 函 数 性 质 4 可 知 


(zx 是 可 分 的 。 
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再 证 =(z 是 9(z) 的 最 小 过 份 控制 ,为 此 设 xzr) 是 g(x) 的 任 一 
个 过 份 神 制 :. 则 从 w(x) 之 9(z) 可 得 wtz) 二 Ow(2) 六 售 gCr). 从 而 
Mafz) 守 v(7z) 于 是 sfz) 是 pz 的 最 小 过 份 控 制 。 

注 4 设 g EE BG(47) g(x) 二 g(r) 25,6 全 0, 则 g(tzx) 的 最 小 
过 份 控制 | 

vr) 一 lim lim lim n Qi g(r ) 一 lim lim lim@'9 (Cx) 
这 事实 的 证 明 可 宙 引 理 3 10 及 (5. 27) 得 到 - 

下 面 的 引 理 给 由 了 当 居 是 Feller 过 程 时 ,连续 画 数 ggz) 的 最 小 
过 份 控制 的 性 质 。 

引 理 5.4 设 X 是 Fellet 过 程 ,g(x) 六 ec>> 一 ce 且 连 续 , 那 么 
9(z) 的 最 小 过 份 控制 函数 "5z) 是 下 半 连 续 的 , 亦 即 

Je(y7 wr) (C5. 321) 

证 明 不 失 一 般 人 性 ， 设 9 之 0. 因 为 9 连续 ,gr"(z) 一 glx) 太吉 是 
有 界 连 续 的 ,因此 Yig"(tz) 仍 是 有 界 连 续 函 数 , 从 而 Q(z)， 
Qeg"(7) 都 是 连续 函数 ,注意 到 

wr (tr) 一 ln rg" CF) 
它 是 单调 不 减 序列 的 极限 ,对 任意 的 NEL 
lim eg 2 dW) 
利用 右 式 的 连续 性 . 
im tim Gi9" (9) > imo gy) 一 gz) 
再 令 一 20; 则 
lm (ty) 2 (xr) 
. 同 理 可 证 明 作 为 单调 不 减 函数 列 的 极限 
.rf) 一 Jan (x) 
以 有 
+(x) 一 lim we"(z) 
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是 焉 半 连 续 的 ,如 引 理 5. 3 可 证 ,8gE B(4-) 的 最 小 过 份 控 制 s(x) 
一 2(7), 从 而 v(x) 是 下 半 连 继 的 。 
在 寻求 非 负 连 续 函 数 gC) 的 最 小 这 份 控制 时 ,下 面 的 构造 是 
很 有 用 的 , 令 
ayg(z) 一 supTyg Cx) 
bryCr) = gz) 《5. 32) 
Oglz) 一 sup2G ‘gz) 
我 们 有 下 述 的 
引 理 5.5 设立 是 Feleer 过 程 ,并 设 g(+) 实 rc 六 一 oo 为 连 煞 函 
数 , 风 
(Cx) 一 Tim 对 gr) . {0,33) 
下 半 连 续 , 且 为 gCz) 的 最 小 过 份 控制 。 
证 明 记 #wt2) 一 六 g(x) , 则 
px) 一 Boy lx) = sup (Tos (六 (zy 六 Wo) 
对 任意 的 ! 尘 0 
PT] 2 Try tx) 
令 * 一 co, 则 存在 极限 *(z) 一 lim wsCz), 且 
| tr) 人 | 《5.34) 
zz 是 9 的 过 份 控制 。 
往 证 :zx) 是 下 半 连 续 的 ,因为 y 连续 ,XX 为 Feller 过 程 ,对 任何 
EN gg" (7) 一 g(Y) 作 m 连续 ,日 Tg"(z) 仍 是 连续 画 数 ,于 是 Tig(r》 
二 lim Tig" (xz) 是 下 闪 连 绫 的 ,有 目 tt. (C1) 一 Wy(z ) 一 su?2952 也 是 下 半 
连续 的 ,由 归纳 法 ,YY NE I,p; (z) 是 下 半 过 续 的 ， 事实 上 ,如 果 2 
7) 是 下 羊 连 续 的 ， 刚直 [44] 之 定理 10(p468). 存在 非 降 有 界 连续 
函数 列 
oh Cr) oy try {i 00) 
Tey (zx) 是 连续 聘 数 ,因此 从 等 式 | 
。273 。 





gy) = supTey (Cr) 一 sup mT (x) 
120 0 


可 见 EwA1 《下 半 连 续 * 于 是 


ex) = limv (ry) 
Nm 





是 于 半 连 续 的 。 | 
往 证 > 是 ?的 最 小 过 份 控制 ,为 此 设 &z) 是 g(x) 的 某 一 个 过 
份 控制 , 则 





896) = supTg (x) < supT htr) SE hz) 
. 10 ae] 
从 而 
ur)= lim gr) A) 
最 后 来 证 明 wtx) 是 客 , 下 半 连 续 的 ,因为 xz 下 半 连 续 ,X 是 


大 连续 的 过 程 ,由 Fateu 引 理 
limTetr) = limErCAX) 2 2(7) (5, 35) 
ro 


to 


其 实 从 (5. 34),(5.35) 还 可 知 » 是 次 | 连续 的 。 证 毕 。 
当 报酬 函数 gy€ BC4 4) 时 ,我 们 可 用 下 面 的 方法 构造 9 的 
最 小 过 份 控制 , 令 
pz) = bsupo CX )) lz) = Bl supg CX *)) 
(5, 36) 
对 fEBCA- ,4+), 令 
Gf (Cz) = gx) V Pe"f lz) (5. 37) 
显然 ,如 ==g, 则 Gf 了 Cx) 二 9.9(x)，。 
3 引 理 5.86 如 gE BOA ,417), 则 它 的 最 小 过 份 控 制 
KE 一 lim lim Gr 9, C7) (5. 38) 
证 明 令 六 (一 lim 6xg(z) ,由 引 理 3.15 及 引 理 5.3 
(7) = (7) 全 Sup Brg CX,) 
_ 所 以 引 理 5.2 表明 wz) 一 lima(z) 是 ?之 最 小 过 份 控制 。 
引 理 5.7 设 f 蚌 过 份 函 数 , 满 足 4- 条 件 
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ss 一 inf 人 Er 0 和 和 了 3 (5. 39) 
其 中 8 是 一 个 Borel 集 , 刚 
falx) = EFCXs) (C5. 40) 
也 是 过 份 菌 数 。 
证 明 邻 s 字 0,05 二 jinffl > s;X, € B} 
则 由 于 X 是 循序 可 测 的 ,路 是 停 时 ,由 引 理 3.7 
Tfelr) SS ka) rEE,t 守 0 
如 同 引 理 5.3 的 证 明 ,fslz) 是 它 。 下 连续 的 Borel 可 测 函 数 , 当 + 
0 时 ,ob 05: 由 Faton 引 理 及 fx 的 右 连续 性 可 得 
limT fs (rz) 一 limBf( Xo, 0)) 
> EFC (0)) = Bf(Xs,) = folz) 
由 此 及 (5. 41) 
lim’ f(z) = fulx) 
二 自 
由 过 份 函 数 的 性 质 6, 即 知 产 (z) 是 过 份 函 数 。 
注 5 如 令 T==inf{f 这 0: 半 EB 则 三 不 习 克 ,J 有 (2D) 三世 FX,) 
不 一 定 是 过 份 函 数 。 
如 同 引 理 3. 12 ,有 
引 理 5.8 设 yEBCd4-):az) 为 gz 之 最 小 过 份 控制 , 则 


limrnt Xi) 一 limoC X,Y P—asrtE (5S. 41} 
是 YY #0 
PAT < co) 一 lr a 【5， 42) 
其 中 | 


T= inf{t SS D0,o(CX) 到 YX) + e} {65,43) 
§ 5.3 4- 条 件 下 值 函数 的 过 份 性 与 * 最 优 停 时 . 


定理 5.9 设 YEBC4-), 则 
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1D) 值 函 数 Y(z) 是 9 的 最 小 过 份 控 制 ; 
2) Ver) =r (tr). 
证 明 由 引 理 5. 3 
(Xr) 一 lim lim gs gz) 
是 9 的 最 小 过 份 控制 ,因为 EB(4T)Y rE 了 SF 
Ba AX) 二 Ex) 
所 以 | 
Vr) EP) A 人) 
沿用 引 理 5. 3 的 记号 ,存在 RW)GS.F ,使 
p(x} VY 
于 是 "Go 一 lmamf(z 安 Fr 所 以 上 zy 一 2(z) 是 9 的 最 小 过 份 控 
制 , 且 Fo 一 FfCz). 证 毕 。 
如 果 Y rE 学 ,fa 一 久 9(X) 是 9 的 过 份 榨 制 , 则 /(2) 一 PCz) 
且 + 是 (0,7) 最 优 的 停 时 。 
定理 5.10 设 yEBCd4 ,4+),MY er>0 
| Vr) 一 EVCX,Y £5.44) 








其 中 
TA inf{f 2 0X gy 二 2) (5, 45) 
证 明 由 引 理 5.8, P(r<eo) 一 1 其 次 由 定理 5.8 及 引 理 
5. 2 
Vr ECX) 二 
为 证 (5- 45) ,只 须 证 
V2) EE EV CN) 
它 可 从 下 面 的 引 理 5. 11,5. 12 得 到 。 
称 规则 TE€ 75Czed 5 其 中 4 蒂 08 关 0, 如 果 
fr < (5. 46) 
这 里 + 由 (5. 44) 式 所 定 广 ,并 记 
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引 理 5. 11 如 果 gE BC47), 则 对 任何 一 对 {5,0) :6>0,# 汪 0 
V(r) = Sup Eg(tX.) 《5. 47) 
{Eran) 


证 明 在 集合 {fr 达 zr} 上 ,gCXi) 之 FCX,} 一 s, 我 们 有 
ECX = Elec oN) 十 Elosg( Xx.) 
Een (CX Bln g(xX.) 
SL EVCXY — er P(r rr) 
应 用 引 理 5.2, 则 
Eg(X) EF) er p(t rr) 


从 而 
sup ,可 中 从) ir) od 


TE TE 


所 以 
Fir) 一 sup bg(tx.,) 
T FT EI 


引 理 5.12 设 gE BC4-,47), 邮 YY :0 


Vtr = sup Bg(z,) 《5, 48) 
HE | 
且 VOr) SEV CX Y (5. 49) 


证 明 固定 zeE ,8 二 去 ,由 (5. 47) ,存在 一 - 列 元 世人 C20 6, 


5 ,使 得 上 og(X, ) 非 降 , 且 
VCx) 一 lim Bog X.,) 《5. 50) 


巷 Or, 则 
dm Bg Xs) — Lim Blissg Xa) + limBdo, mg Xr) 


Ne a 


一 limE.g( Xs) 一 limBaic emg Xe,) 十 lmEnlo, «wg Xe) 
守 V(r ) 一 Bo limio, ag X, .3 十 Ba (limt., < 


由 于 Pofm<c ts 由 Borel 一 cante]i 引 理 
Pa(limte ss)) = 1 


了。 


即 pallimi < 一 0 国 此 
lmBrg (CX, ) SS V(r") (5. 51) 


Cre 


但 5. 宇 T ;于 是 . 
sup Eog(X) 2 limEg(X, (的 


| 


supBigtX) sup Bg(X,) 
TE 


fT 
(5. 48) 式 获 证 ,由 (5. 48) 式 
Fir} 一 SUP Bq) 宝 < SUP EVOX.,) 


rE Er 
而 是 9 的 最 小 过 份 控制 ,g€ BC4-)， 故 
EV COX) EE 下 
从 而 
VE Er (CX) 
定理 5.13 设 gEBo(d+ ,4-), 即 gE BCA+,A-), 且 yg 是 咱 
连续 的 , 则 
1 Year0r 是 tz, 让 最 优 规 则 ; 
2) 如 y(z) 上 半 连 续 , 则 r? 是 最 优 停 时 ; 
3) 如 yz) 上 半 连 续 ,日 户 (z<oo) 一 全 则 于 是 最 优 规 则 ; 
4) 如 在 多 (或 多 ) 中 存在 最 优 时 间 r* , 则 
. PTERT)= 12ER 
且 是 宛 ( 或 科 ) 中 最 优 停 时 。 一 
证 明 1) 下 引 理 5.8,r 和 3 ,因为 9 为 窜 , 连续 ,I 是 7 的 最 
小 过 份 控制 ,由 过 份 函 数 的 性 质 5), 可 知 Y(z) 是 窑 , 连续 的 ,由 于 
{X] 轨 道 右 连 续 ,9(z,Fz) 和 皆 安 , 连续 "因此 {gCX) ,ti 这 0 及 IV 
CX ),! 社 0} 是 右 连续 的 《性质 入 。 所 以 | 
VOXAY XT ep CO— dEE (5. 52) 





电 引 理 5. 12 





ONY EVN SE Eog(CXr) + (5. 53Y 
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这 表明 了 是 * 最 供 规 则 。 

2 注意 到 ,如果 如 2 £2 > 0D, 出 PT ET) 一 1 因而 limr 存 
在 忆 一 和 az 的 帮 , 记 了 一 limr， 则 tT 是 一 个 停 时 , 且 7+ 志 人 ,由 
定理 5. 8,(5. 53) 式 并 由 Faton 引 理 及 gtz) 的 上 半 连 绫 性 与 {Xi} 的 


拟 左 连续 性 
FO) = V(r) < lmB.g(X) 之 Blimg( Xe)) 
了 直下 本 二 由 
一 hhc limgCxy) 十 Bdsm limgt Xr.) 
rio - [| 
A Baldicmg Ki) Bley CX) 
= Egt Xi) 
从 而 ?是 C0,7) 最 优 的 停 时 , 往 证 了 = mm 人 P 一 os 
电 然 fT 和 一 ITEB' 由 下 的 定义 ,为 了 证 明和 ,上 
须 证 明 





本 





Es 


PFC = g(X:)) = 1 ,2EE C5. 54) 
由 于 7 是 C0,7) 最 优 的 , 我 们 有 
EVCX) 2 EgtXi) = Fr) BP 下) 
所 以 (5.54) 式 获 证 。 
3) 显然 。 
4) 因为 +" 是 最 优 的 
Vl) = Bo Xi) VON.) SE Vr) 
可 网 PACVCX 二 gCX 二 1,xENR, 于 是 TT? ,一 ga. 因为 
Cz) 是 9g 的 最 小 过 份 控制 ,FE BC4 ,我 们 有 
Plr) = Vr) = Eg(Xs) 一 可 FOX SE EVCOX) —Bg(Xn) 
这 便 是 7 的 最 优 人 性 ,加 果 下 EE, 则 TE 
推论 5.14 1) 如 gE BCd4 dr , 昌 上 连续 , 则 
| V(x) 一 及 Fo (5. 55) 
2) 设 weEBCA4 A+ , 记 8 二 {TE T=in{0, NEC,C 
为 Borel 些 } ,由 | 
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Lr) = suphg tx) | 5.56) 
1 白 
3) 设 fyE BCA- ,4+) 有 连续 ,Ptz 下 半 连 续 , 记 多 一 (treE2 
to 二 jnf {这 0 ;ED}D 为 闭 集 } ,出 
PKz) = suphrg CX,) 5. 07} 
1E -2 
证 明 1) 由 定理 5.13 之 2) ,7 是 最 优 的 ,从 而 
V7) = EgCX;) = Egt Xt) 一 EV (UX) 
2) VECXA) 和 hg(Xr) 十 e 这 里 位 就 是 首次 进入 的 
Borel 集 的 时 间 ,于 是 | 
(2) A supB.g (Xn) A suphg( X,) 
tf ， ” 4 全 各 . 
3) 只 要 注意 到 在 所 给 的 条 件 下 ,对 e>0, {1x:V(7) 夺 g(r) 十 寻 
是 闭 集 。 


8$5.4 4+ 条 件 下 值 函 数 的 正则 性 与 * 最 优 停 时 


如 同 § 3.5, 容 易 看 出 当 g E BC4-) 时 ,gx) 的 最 小 正则 控制 
与 最 小 过 份 控制 是 同一 的 。 
yt) = g(r) Y a, oO : 
令 上。 GD) 一 sp 上 gx ,我 们 将 证 明 Vx) 二 lim Foz) 是 字 正则 
的 , 且 " 
| Vr) = ,Cx) = VOr) 
但 在 连续 情形 ,关键 在 于 证 明 下 面 的 
定理 5.15 ”如 yg EE LiCt)( 即 9 EE LC(4-) 且 梁 , 连续 ), 则 
上 .(z) 是 窜 。 连续 的 。 为 此 先 证 明 下 述 引 理 。 
引 理 5.16 设 9E BC 则 Ya ss 0zE 过 程 
106X220 0 扫 1 so) 是 有 连续 的 一 致 可 积 上 鞍 。 
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证 明 设 r*E 且 , 则 
本 supge (X, = supgr (Xe) 
且 F(z) 一 sup GX) 区 上 Supg™ CX) 
由 马 氏 性 
FN) EE Bx, supo+ 《大 < < 肪 (supg CX) |. 实 ,) 
. | 《5. 58) 

因为 gE B(AT YY =—supy! (XD) 可 积 , 可 见 {V,CX) 是 一 致 可 积 的 ， 

但 gEBC(At .47), 由 定理 5.9,Y.lr) 是 9.(z} 的 最 小 过 份 控 
制 。 由 过 份 函 数 的 性 质 5 与 4,V,(x) 是 客 , 连续 的 , 且 过 程 {Fe(CX)， 
2 中 是 右 连 续 的 。 因 为 Co 是 过 份 的 

B[V AN) = BVA(X) EPAX) (5. 59) 
这 就 证 明了 {F.CX0),! 尝 0} 是 一 致 可 积 上 靳 ,因而 是 右 闭 的 ,这 里 下 
(Xe 一 Jimp(X 这 表明 {CX PP ,0St& oo0} 基 一 致 可 积 
的 上 蒜 。 . | 
引 理 5.17 设 gEB(CA+7), 则 YY xEBP, 一 .5 地 有 
lmg (CX) = mV CX) = lm. CX) = lim lm CX) 
《5. B80) 
证 明 由 引 理 5.8 
lmr (CX) = Hmg, (CX) 
因此 
iim lm (Xx) = lm lim(gX) ¥ a = Hmy( X05. 61) 


但 (7) VD) Er, (rz) V(r) 
所 以 由 (5. 61), 便 得 (5. 60 式 )。 
引 理 5.18 设 gEB(47). 则 对 任意 1,0E ,P(r220)==1， 
YX 关于 .ZF ,可 测 且 有 
BAV CKO YOAV NR) Po.s. rE ECS.62) 
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证 明 首先， (xz) 一 lm V(x) 是 Borel 可 测 的 ,因为 过 程 {r。 
(CX,), /之 0; 是 右 连 续 的 适应 过 程 ， 它 关 于 可 选 " 代数 如 是 可 测 的 ， 
因此 r, (zx) 也 是 可 选 过 程 ,而 由 (5. 60》 
limr ,CX0) 一 limgCX) 
是 宁 - 一 r( 避 多 可 测 的 ,因此 对 任何 停 时 7, 广 Cx) 是 于, 可 测 
的 。 对 于 {FCX)} ,我 们 有 
| 机 (KR IF) EV XY 
令 > 一 00, 应 用 条 件 期 望 的 Fotou 引 理 
| BV (CX) TF) EF. CX) 
5. 19 设 gEBC47),; 则 对 售 时 pnE Cc. {CF (Xpnt)， 
六 a 了 Pt 这 0} 构 成 一 个 上 园 ， 
对 s 扩 [由 (5.62) 易 得 
EA ARAN NF ,AD) EV (Xpnt) 
从 yg 志 2A4+), 可 得 
BO Kd) SBAXAXn)) EB supyt CX) < oo 
从 而 pECtg) ,可 得 
co Bg (Xn) SEX XK) EB (Xa)) 
因 比 ,BV .CX [00 ,00,rE ER. 
引 理 5.20 设 9EL(4+) 是 0, 十 ce) 中 可 列 稠密 集 , 则 当 
ry0 时 ，lim W(X)P 一 0.s 存在 且 可 积 。 
证 明 由 引 理 5. 19, 人 V2prr) ,rE5} 可 以 排 成 一 个 离散 的 反 
向 上 寺 (L3] 之 引 理 2. 21) ,因此 
lim V(Xyat) PP; 一 td, 8 


rdreEs 





存在 , 且 
六 | lim ”CCXKon < ce 区 四 (5. 63) 
Tr ， 
由 于 所 上 存在 一 个 pC ,使 Pp 六 0) 一 1 所 以 对 此 PP 
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lim YX} = lim VF. (CX.) PP 一 a, 8 
[和 Tt 人 rE 


引 理 得 证 。 
引 理 5.21 设 9EL(4*),S 是 (0,cc) 中 可 列 稠密 子 集 , 则 
lim VAR) = imr CCX) BasrtEB {6.64) 


re 丰 CE 


证 明 ”由 于 过 程 {Y.(X0) ,t 实 0} 右 连 续 ,因而 可 分 。 设 /是 任 
一 开 区 间 ， 则 .一 a.s 地 有 


inf7 CX) = inf infVal X, = inf infr (CX) 
er 


一 inf inf VaC%,) = ,in VCX,) 


¢ {Els 
取 / 二 (0, 亡 ), 则 P, 一 a.s 地 有 
limy .CX) = im inf VX) 


和 i Dre 


二 lim inf VX) 


定理 5.15 的 证 明 ; 由 于 YCz) 是 gz) 的 过 份 控制 ,Y pEC 
C9) 《om 的 区, 区 因而 
下 . 9. BbY) 
Ba (Xs) EE Blin uP (全 十 Bldipso Fs CX)) 
RLsap XY) VPC 
DT 
于 是 
Vr) = Sup Bg CN) EBL sup ge(X) V V(X) 
PE CthY Er 
令 a 一 00, 轩 为 9E Lo(A1+) 
Fr) < 安 BL sup gCX.) VV (CX)] (5, 66) 
取 t 一 7， | Or, 和 六 ,向 | (D0, cs) 中 可 列 稠密 集 , 过 程 和 一世 [supo- 
(X01. 久 1] 是 一 致 可 积 拷 ,极限 limyr。 已 一 os 存在, 记 为 yo. ys 可 
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往 证 : Sup, 9 CXI VT (Xr LY, (5. 67) 
由 于 sup 9(X)< sup 97 (CX) SRL sup, 9™ CX) 1 学" ] 以 及 
(5.58) 式 | 
,Sop CR VE CXT,) YY, 
由 5. 66) 及 (+,) 的 一 致 可 积 性 
Fr lim 总 [， SuB， 9CX,) ¥ FF, CXr,)] 
Es [lim ,Sup, 9CX, )y Vr CXr.)] 
blyCXo) YY ln, (Xn)] 
= 总 fr V lim RL CX.)] 《5. 68) 
里 第 三 个 不 等 式 ， 利用 了 gz) 的 加 连续 ， xX 的 右 连续 性 以 及 引 
证 5.20, 注意 到 lm VY, (Xi) 是 For 可 测 的 , 由 零 一 律 ， 
,Him TN) — a 等 于 一 个 常数 , 所 以 
7) EL g(r) YY Hm YX) PP. sr 


因此 在 {g(x) < CE 
FC) < dim VF CRE) 了 一 和 3 和 一 于 
了 站 Dr 此 六 





(5. 69) 
由 引 带 5. 21 可 知 在 {x .gz) < (xz)} 上 
上 (rz) SE lm, (CX) . (5, 70) 


EE 
这 表明 (7) 在 fz:9Cx)<<V.,(z)) 上 二。 下 连续 ,而 在 集合 {x:9(z) 
宇 久 (7)} 上 (22 二 g(x) 是 容 连续 的 (因为 gELu(4-)), 于 是 在 
{ry Ct) , Cr}} 上 | 
r(x) = 9(z)》 = limg XY) lim XK) Ps 
t 1 用 
由 此 及 (5.7 的 式 ,，-(D 是 Wo 下 连 线 的。 
时 2 中 二 二 





往 证 上. (z) 是 鹤 。 上 连续 的 。 和 于 V.() 是 这 续 的 ,而 
(zy, Lz) ,于 是 
ImY ， (CX) lim lm CX) < lim Vl) 一 下 Cr} 
这 表明 了 .az) 是 咖 。 上 连续 的 ,因此 上 - (的 容 。 连 续 性 得 证 。 
现在 转移 到 讨论 本 节 的 主题 : 值 郴 数 的 正则 性 ,我 们 有 主要 的 
结果 : 
定理 5.22 设 yEEo(04+), 则 
1) rz) 是 gz) 的 最 小 到 正则 (Cs 连续 ) 的 控制 
2) TYz] 一 PCz) 
礼 了 证 明 它 , 我 们 需要 务 汪 下面 的 引 理 ( 参 考 定理 3. 22)。 
对 任意 之 0,e<0， 置 
— inf{ff 0, (CX) A mK) 十 全 
二 OAKY) EX 十 上 15.71) 
rT = infli 0: CX) SE oCX) 十 时 
引 理 5.23 设 yEL4+)， 风 Ye>0assn 
Vx) 一 BF (CX) 工区 号 (5. 72) 
证 明 由 5.45 式 ， 
V(r) = EV CX) C5, 73) 
易 见 ,对 ap 和 0,of 委 不 ;而 W(x) 是 过 份 函 数 
BV (Xe) BV Xa) 
由 此 及 (5. 73) ,并 由 Fatou 引 理 ,并 注意 到 4+ 条 件 
V(r) Bim BV Xe) SB CK) 


再 由 引 理 5. 18 








C2) 2 EV, (Xe) 


{5. 79) 趟 得 证 。 
引 | 理 5.24 设 yEzECd4r), 则 Ye0 
dim Py eX) = 0 rEE (5. 74) 
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Pr < 二 ceo) 一 1 (5.75) 
证 明 ”由 定理 5.15,V .Cz) 也 是 富 w 连 续 的 ,因而 {7. (Xt 守 
0) 右 连续 ,由 引 理 5.7,0 各 可 之 0 PP 一 ms 而 且 yg 与 /, 用。 
连续 性 , 因此 
六 《Xe < 十 ae PEE 《5 76) 
注意 到 (5. 72) 式 
一 oo gr EF 一 EF, (XX) Bg(N) 十 二 
SE bP,(g( Xe) BD) 有 (supg (XN) te 
于 是 (6<0) 


PCD DE [supyt (XY + er Cx) ]} 


1 
b 
0 -> 一 ceo) 

注意 到 在 {oo:gCXo)>8} 上 ,区 态 01i 而 一 般 地 有 5 所 式 ,所 以 在 该 
和 集 上 不 = 二 中 因此 P(rT, 芝 00) 守 Pioi 攻 coo,9gCX)>0} ;由 gEL 
(ATI PO) BP(H0) =1, P(g9(X 1 ,所 以 
(ec 一 上 

引 理 5.25 设 9%EELofd4D, 则 Y en0 

Ps kz) 一 已 PFCNXe )》 rEB (5. 77) 
证 明 由 引 理 5. 18 
V(r) = EV, CX ) 

为 证 相 友 的 不 等 式 , 固 定 z€EB, 由 (5.74), 存 在 一 个 子 询 5 一 一 


limiees ,ye ti) = PC a.s. 
Iam 了 


上 


由 (5.72) 式 以 及 在 集合 {o:gCxe ) 演 芭 上 ,of = 二， 内 Fatou 引 
理 可 得 
.Cx = lm EY, (Xe ) 
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及 mbP。 《Xe ) 


五 : lim rgex e ET CX 7 十 EB, limfi cr, yb, CX) 
I 5 I | 了 


= 反 六 (全 
定理 5.22 的 证 明 ; 由 定理 5.8, F(z) 二 F(x) 旦 PCz)y 所 
F(x) ,所 以 





VP) EP) RE (x) {5.78) 
用 《5.75), 忆 皇 宁 如同 证 明 (5.76), 可 证 
CX) gtX 二 ae 一 i. 8. C3. 71) 


由 此 及 引 理 5. 25 
VC) 一 EX 二 下 9 十 SFCz) 十 上 
《5. 80) 

从 而 7. (x) 寺 Vlz). (5.78) 式 的 不 等 号 均 为 等 号 。 由 定理 5. 15, 这 
些 函 数 都 是 客 , 连续 的 , 国 为 所 (是 过 份 的 ;有 已 ( 闵 四 (人 
由 过 份 函数 的 性 质 4, 可 见 Y.(7z) 是 也 正则 的 ,由 单调 收 伍 定理 发 
417 条 件 , 易 知 V) 二 VF. (2) 二 lim Ye(c) 是 六 正则 的 ,而 VY(z) 的 最 
小 之 正则 性 是 容易 证 明 的 。 | 

定理 5.26 设 yEI(4+),; 则 定理 5.13 的 一 切 结论 为 实 , 亦 
即 

]7 Ye>0r 是 * 最 优 规 则 ， 

2) 如 gtx) 上 半 连 续 , 则 是 最 优 停 时 ; 

3) 如 g(x) 上 半 连 续 , 且 Ptr 之 00) 一 1,zE&, 则 Tw 是 最 优 规 
由 ; 

4} 如 在 了 (或 了 ) 中 存在 一 个 最 优 停 时 让, 则 PT 和 T*) 二 
1.7ER, 且 是 他 ( 或 ) 中 最 优 停 时 。 

证 明 由 (5.80) 式 及 TT 三 tT, 可见 ]) 成 立 。 

2) 记 ?二 limr 则 由 《的 拟 左 连续 
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TO)= Fr) 各 < limE -人 br (Timg CX “)) 
= hd ry limg( XxX.") i limg CX) 
rin - 47 0 . 


一 Bde Ni)) + Ede g Ne) 
= Eg(X:;) 
显然 7 委 T ;而 由 YOKX;)) 守 9 (CX) 二 VD) 字 BVCXi)) 可 见 
CX) 二 gCXD) ,Ps 一 而 而 从 而 ,TT 于 是 FO) 二 VD) 寺 Bg XX 
3) 是 显然 的 。 
4) 由 盖 最 优 , 可 见 FCX, 一 9(X 所 以 六 六 如 ,而 . 
Vr)= VF) = 可 9CX) = EVCX,*) 
BV(XP) = Bog(Xn) 
7 为 最 优 ,定理 得 证 。 





§ 5.5 一 般 情形 下 值 函 数 的 正则 性 


定理 5.27 设 ygE Le, 则 
1) F(z) 是 gC7) 的 最 小 CC9) 正 则 控制 ，; 
2) V(r)=F (Cz), 
证 明 1) YY pz0, 念 
(2) = gr) A b,x) = ,Sup, Bg CX.) 


"r= lm Cz) 
设 v ,TEC (T2000) 一 1,+ 全 如 ,由 定理 5. 22 
Bg XK) EE XD EE BVOX) & EPCX:) 
由 所 Cz) 的 正则 性 及 章 调 收 襄 定理 可 得 
BV CX IF) EF CX) (5. 81) 
KV* (x) 是 鹤 " 连 续 的 Borel 电 数 让 (x) 的 ( 非 降 } 极 限 ; 因 此 是 
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鹤 下 连续 上 且 Boral 可 测 的 ,从 而 tz) 是 C49) 正则 的 。 
2) 往 讶 旺 的 一 人 2) 一 PFCz 从 天 (DSSFfE 得 了 Cr)s 
(7) , 若 rEC9), 轩 
EPOXY EE FI) = V(r) 7) 
由 单调 收效 定理 
































EX) EF C7) 
从 而 . 
Vr =’ = V(r) 
往 证 上 是 人 为 光 设 zz) 是 0 的 5 
正则 控 制 ,内 
KE EX 

上 从而 ctr) 守 Vtr) ,定理 得 证 。 

由 上 面 定理 的 证 明 , 对 CC9) 中 任意 一 对 停 时 规 员 则 z+,o0, 若 PCr 
六 中 一 1, 则 





EAV OE BT) EVOX) P,— a.s,. (5. 82) 
,如果 T,oE 区 ,上 且 存在 pE 六 (G9), 使 P.(v 才 7 和 Pp) 二 1, 则 也 可 证 明 
可 《FS | 0) SVX 《5. 83) 


事实 上 .由 于 多 ETo(4+) ,由 定理 5. 23, 我 们 有 
EX 1,) SK,) 
有 <- Eqg (XIE ELEYIEEV (XA,), 
由 单调 收敛 定理 , 则 
EAV" CK EV CX,) 
但 定理 5. 2?7 表 骨 rc， 所 以 (5. 83) 成 立 ,顺便 人 须 
指出 ,由 引 理 5. 17 
1 (CX) = lim limy* CX,) = lim fC) 一 一 BC) 


Sco fr 


下 面 讨 论 9&€ Lo 时 信和 函数 的 客 。 连续 性 . 
定理 5.28 设 pEELo, 日 Ffz)<co, 则 Fr 是 冤 。 连 续 的 Borel 
可 测 画 数 。 
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证 明 由 定理 5. 27 ,Fr) = lim i) ,Pr(r) 是 号 。 连续 的 ( 定 
理 5. 22), 南 上 (z? 是 单调 不 降 族 的 极限 ,因此 上 F(z 生 下 连续 。 
往 证 Ftz) 是 鹤 , 上 连续 的 , 令 4 为 (0,co) 中 可 列 稠密 集 , 由 秆 
理 5.27, 对 并 Cg rES ;有 
ENA SL{r) {5. 84) 
.因为 FG)<o2, 是 
EV NA) PF— Ey (KX) > oo 
由 C5. 83) 式 可 知 , 对 固定 的 p 所 CO) ,人 (Xors) sr? 各 | 是 一 致 可 
只 的 上 对 ,如 隔 引 理 5. 20 所 证 ,可 知 im PCXonr] 是 一 个 可 积 的 
随机 变量 , 且 
dim or 一 dm, FOR) Pras (5,.85) 
,从 而 由 4 收 化 定理 





lim 大 nr = EE lim VX,,r) 5. 86) 
了 | 日 F 呈 上 了 站 上 T 红 福 
从 (5. 84) 一 (5. 86) 式 便 得 
E, Jim FOXD Ver) {5. B87) 
P 才 Dr 二 
如 同 引 理 5. 21 ,我 们 可 证 
lim OX) = lim CX,) 《5- 88) 
T 业 0 把 疙 
. 同样 由 于 Jim CX) 是 or 可 测 pe 二 为 常数 ,因而 
pb, lim PT 一 = limr CXIDP,— gs 《5. 89) 
nD 
联合 (5. 87) 式 ， 


Hi C0 < Vey 已 一 人 
这 就 证 朗 yz) 是 Yo 连续 的 。 | 
定理 5.29 设 y Ek [gn)| 过 oo0yz 蕊 二 ;如 果 在 也 中 (或 
中) 存在 最 优 停 时 *, 刘 7* 最 优 旦 
PATET)= rEE 
证 明 ”显然 O09) ,由 (5.83) 式 
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Er) = EgOX nD) RR EN) RE ECX = T(r) 
注意 到 
ble = mgt Xe) = Behe lim 人 

因此 Elec<o9g (Xe 二 BrcoVYCX), 从 而 在 [z* 之 oo] 上 ,9 
CX ) 二 VOX 于 是 z 裤 一 疡 一 gs 前 在 [一 c] 上 ,mr 是 
自然 的 ;所 以 入? PP 一 ag. 5 

往 证 7" 的 最 优 性 ,因为 atx) 与 (zx) 都 是 客 , 连续 的 ,所 以 19 
CX 这 0} , {VOX ,t 宇 0 中 都 是 右 连 续 的 ,因此 由 ww 的 定义 便 知 ; 
在 Lr<ce] 上 

gtXe) = 的 的 Pa. 
从 而 ,由 {5.83) 式 
Vs) BgtX,-} 
= Elder co (Xr) 十 下 六 limgC X) 


A Ele CK) 十 Bile) mytX,) 
lo 
= Editcogtio) + Ed limog (CX) 


= Eg(X) . C5. 90) 
8$5.6 正则 函数 的 结构 


如 gELICA DD, 则 VCz) 是 g 的 最 小 过 份 控 制 , 此 时 由 引 理 5. 2， 
V(r) 二 lim lim er gtr) (3. 91) 

但 如 果 g 入 L(G47) ,比如 gE Pd , 则 V(xz) 是 9 的 最 小 克 正则 的 

控制 , 它 不 能 表示 成 (5. 91) 。 本 节 主 要 结果 表明 ,如 9yE BCa-), 则 yg 

(0) 的 最 小 C0) 正则 控制 Y{x) 将 与 某 个 G02) 的 最 小 过 份 控 制 一 

致 .于 是 
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Fz) = lim lim Wf Cx) 《5. 92) 
设 “人 5 满足 条 件 
下 Er = FhCX,..Y) 
比如 C2) 二 一 到 gC 有 本 (Xo, 令 
Gr) = g(X) VW kX) 
全 .Cr 一 下 (rz) VY Ta-rG tz) 
BE 一 lim Qi CUOrY 
pI) = il(r) = lim lim QCGCr) 
注 6 易 见 
PG = 加 人 (六 RACX2-+) 
= El gm)) = ERX.) = lr) >— ce 
由 引 理 3.9,2.(7)= lm OG(z) 存 在, 且 是 6(z) 的 最 小 过 份 控 
制 , 由 于 -1(z) 关 于 算 子 -“1w 是 过 份 的 ,所 以 
PT - 空 人 TD 二 [全 -一 EO! CXa~ et ) 
六 BBa tnt Nt) 
一 EX) 一 PCr) 
这 表明 zw. .C7) 关 于 算 子 了 -也 是 过 份 , 于 是 (x) 之 641(7) ,极限 
lima(x) 全 ntz) 是 存在 的 。 
定理 5.30. 设 ygE ,并且 # 扫 B 满 足 
a) Ar) 一 BAX) TE EERk CCX,) oo 
by) er) EF) rE E 
刚 1) Vx) 是 Gr) = 二 g(x) Y Ar) 的 最 小 过 份 控 制 ; 
2 Vr) 一 of A sup POCX)! 


TECKaY) 
DV) 一 lim lim G(r), 
我 们 先 证 明 下 述 引 理 。 


引 理 5.31 设 9fz)yhfzry E Buh) = EACX YH Ek- (Xe) 
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之 5o, 则 

1) +(r) € BB; 

2) Yt OTn(r) AH) rE 

3) >(z) 罕 。 上 半 连 续 ; 

4) sx(z) 是 Gx) 的 最 小 过 份 控制 。 

证 明 ) 当 yhE€E BGA 时 ,GE€ BO). 

设 pgp B,w 闫 90, 往 证 四 (7) 二 p(X) 所 B. 固定 EB, 设 亏 
是 紧 集 首 达 时 的 停 时 列 , 且 zx. 0. 

消 数 中 (7) = 二 杞 p(X 是 Borel 可 测 的 ,由 强 马 氏 性 

limE, DEX, .一 Jim &. Bx, PX) 


a 


”一 im 如 PN ) 《5- 95) 
令 不 一 品 ( 一 扩 CX ) 1,2,…, 则 
条 一 想 【一 如 (XD) EP,, AX) 
一 让 [人 ， pn ) 
因为 各 召 是 室 。 下 连续 的 ,而 一 包 (X- ) 可 积 , tim” 一 a s. 存 


在 ,于 是 由 (3- 957 式 
lmBGX) = lm Ep(X) FB mp( Xe ) BPN) = B(x) 


I Pe 


由 此 可 入,Borel 可 测 函 数 BC(7) 是 兴 , 下 半 连 继 的 ,于 是 如 同 
引 理 5.2 所 证 ,zz) 是 罕 。 下 半 连 续 的 ,上 且 2 人 > 一 拓 ,因此 >) 拓 
BB. 
2) 考虑 函数 (7) 二 limexG(z) ,如同 引 理 5.2, 我 们 可 证 对 一 
EEN 
全 (x) 《5. 96) 
战 而 | 
Te} vr) 
令 1E [0,20], 选 取 有 理 数 ( 二 进 制 )r, 1(i-*o0) ,并 记 太一 可 
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[一 i CX 多 rj 则 由 于 CEB(G4T) ,5E BCA4 7) 由 Fatou 引 理 及 
(5.96) 式 


vr limT, etr) 二 limB.v( X,,) 
> 上 Limv( X,) 闻 Ea 1mt Xa) 
roo [EY] 
| EN) = Ttr) C8. 97) 
3) 为 证 *(zJ 鹤 。 上 尘 连 续 性 ,我 伯 只 要 证 明 对 于 任意 的 包含 
在 z 的 开 邻 域 紧 集 列 的 首 达 时 二 (my 0 二 1, 有 


jimgwC X,Y < el2) 《5. 98) 
【网 注 3) 
先 设 停 时 r+ 取 二 进 有 理 数 慎 ,有 即 取 值 于 {4* 2 ENw)， 往 证 
ECR) ES or 《5. 99》 
为 此 首先 证 明 (CwCX) LP) ,EN 是 一 致 可 积 的 上 
喜 , 其 中 尺 (z) 二 vr) Ab, 由 于 5O7) 守 0C7) 这 hr) 一刀 h(CX) 演 芭 
《一 A7CX)) ,所 以 


bi V(X) Bx ,aT— HXe)) 


= BE(— hr (Xo) | (CFL) 
因此 {2(CX.2-*)} 是 一 致 可 积 的 , 且 由 (5.97) 式 
EAW ON) NF Bs ND) By oA(K) A bY 
= pA 加 B aa 
DA PK) = HX ) 
因此 (WCX2 下 ) ws 一,P) 是 一 致 可 积 上 园 , 于 是 .一 a. s. 地 存在 
极限 


lim (CX, a-") 


1—o= 


且 天 11imw(xXez seo 由 Doob 停止 定理 ,Y rz 取 1 27":LE 
入 } 中 的 值 , 且 P.(7 尝 0) 二 1], 有 


| |) A No) 上 一 如。 3 
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(C5. 100) 


在 上 式 中 令 "二 0, 且 令 二 < , 则 
EuX) ES Ar) C5.101) 
现在 征明 (5. 101) 对 一 切 rE 芒 也 是 成 立 的 , 记 
{+ 27, Cf 12 "rT 
十 co ， 二 十 6 
显然 刀 yz, 国 为 ?是 宕 下 连续 的 ,所 以 
limv¢ Xr EK) Pas IEE 


PE 


T 一 


从 而 
JimzfxX, ) = lim infrCX,) 
Pee " Rs " 
六 lim inf vCXi.) 
有 2" 


之 lime (Xr) DS (CX,) 
1 由 


注意 到 aX.) 字 B( 一 本 (Xo) | 多 ;由 5.101) 式 
EBX) EE lm CX, .2 Es lim& :多 三。 P(r) 


现在 令 芭 是 严 中 停 时 列 ,已 Cn 4 0D = 1, 则 如 上 所 证 ,及 r(Xr) 所 
PT 





im 可 MX) SS HF) 

这 表明 育 数 mlz) 是 咏 : 上 连续 的 。 

4) 由 1),3) ,函数 v(z) 是 容 。 连续 的 ,由 3) 知 bx) 是 G(x) 的 
过 份 控制 , 往 证 » 是 6 的 最 小 过 份 控 制 。 令 p(z) 是 6(z) 的 一 个 过 
份 控 制 , 则 

Tm) Cpr) 
于 是 Por) = Op MY TPs))} = Gotz) 
| 一 … = er) 

由 于 9(z) 六 CCz) ,所 以 (一 全 gr) 六 多 G(7D ,因而 ,gw(z) 产 Jam 
lm Ctz) 一 vtz), 引 理 得 证 。 

定理 5. 30 的 证 明 : 由 引 理 5.31, 只 需 证 
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Hr) 一 FF) = Flr) C5.103) 
先 证 FetzJsSetz 因为 2 是 各 的 最 小 这 份 控 制 ， ¥ ET CCX) 
XD) ,于 是 
, ECNXeY SE Ev(X) SE rr) 
所 以 Fe (rt) = sup EGCX,) < (7) (5.104) 
再 证 扩 (2) 字 vz)。Y 8>0, 令 
inf{k 2 Ne) SOX) + 0} 
首先 假定 (ODS5<ee ,于 是 CEI, 由 引 理 3.9,w%(x) 是 G0) 的 关 
于 72-* 的 最 小 过 份 控制 ;由 引 理 3. 12 及 GE L(A41) 


Hm me- 一 Jin 人 so 一 a3. 人 
Foo Fr om 





. 且 Pim ooo)=1 〈5. 1057 
显然 mwfz<co ,因此 引 理 3. 11 表明 
nT) 一 at Rea) 
一 Botcra ber ) 二 Brlirmt.a yb Xa) 
. 由 Fatou 引 理 
bs (Cr) 和 E, Lim ca CX ) 十 BE, Limit [| 
EY) C5. 106) 
在 一 般 情形 , 令 只 (z) 二 G(z) A B(x) 二 lm 人 G(x) 则 可 证 明 
limw (x) = v(x) . 
失实 上 ,区 (x) ,是 关于 5 不 减 的 , 记 5.(7) 一 limei(z), 由 于 (Cx) 
是 人 F(x) 关于 72-* 的 最 小 过 份 控 制 , 所 以 
Tt, Cx) 一 Jim72~ 外 lm Cr) 一 一 BY) 
显然 .Cx) 守 0(z)， 所 以 »(z) 是 cdzy 的 过 份 控制 ， 如 果 (rz) 是 避 
{z) 的 过 份 榨 制 , 则 gO) 宇 G(2) 守 G(r) 于 是 芒 G) 和 CX) (5) 拒 
人 x) 因此 (xz) 是 G(x) 的 最 小 过 份 控制 ,而 wtz) 了 世 是 GCz) 关 于 2- 
的 最 小 过 份 控制 ,于 是 vw.《7) = (7) = limw (2), 
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由 (5. 105) 式 
Or) Bt) 二 
EGC eS V(r) +e 
因此 nz) = lime(r) Sal2) (5.107) 
由 55. 104), (5. 107) ，u(z) 一 yogz) ,显然 有 Yfzy 所 Yelz) 为 证 
(5. 103) ,只 须 证 re(z 返 Y(z) ,注意 到 我 们 一 直 没 有 利用 过 9 是 
号 o 连续 及 Ar) 志 FG)》 这 两 个 假设 , 记 
PSCr) 一 supEGCXYI, bE0 
_ 7 区 
函数 8Cz) 满 足 4 ,由 定理 5. 22 
BX) EV TE Fr EBP, ~ a.s (5.108) 
其 中 (x) 是 ytzx) 的 值 函数 。 
由 假设 力 
PCa(XD 一 可 [CgCXJ V ACXDY AD] 
= Eh{(g XY) VYV 到 (各 
ELVCX) V ROX] = EVICX,) 
这 里 六 (x) 二 hz) A5, 所 以 由 C5. 108) 式 
人) 一 Su E.G CX.) sup (CX,) 





Er) Vr) 

对 于 任意 的 TE ,BCCXD) AD)SEVCz) ,注意 到 Cr)ZPACz) 一 吕 N 
《Xe ) 且 (R(X) 之 oo, 由 单调 收 皱 定理 ,得 天 GEXA 和 EFCz) 从 
而 Falz) 扩 F(x), 于 是 VCz) 二 Polr) 一 vx) 且 为 G(x) 的 最 小 过 份 控 
制 。 | 

下 面 的 定理 讨论 特殊 的 h(x) ,这 可 使 关于 *(zy 的 假设 减 增 。 

定理 5.32 设 g€EB(ie-), 则 

1) F(z) 是 G09) 一 yC2) VY 一 可 9-(X 的 最 小 过 份 控制 ; 

2 Vr) =rels); 
3 Vir)}= lim lim Oar), 
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证 明令 (二 一 上 gCXw), 则 它 是 Borel 可 测 的 ,多 二) 
= XT) :im2A(z) 一 4(z), 故 由 过 份 函数 的 性 质 6 ,可 
见 过 份 阔 数 kh(z}E 8. 而 由 过 份 函数 的 性 质 5, 可 见 AKz) 是 择 。 连 
续 的 ;因此 {hCGX) ,! 社 00 有 连续 ,因而 可 分 。 
往 证 27) 一 ACXw) ,由 于 过 程 人 4(X)， {0) 对 任何 可 列 再 密 
集 52[0.co] 可 分 


TimagXy 一 ln ACX) 
23- mn on 





因此 
ECX 一 下 lm p(X.) 
Ee . 


一 一 及 lm Ely (XX).) 
| 


— Eg (X,) = hls) 
注意 在 证 明定 理 5. 30 中 ,我 们 应 用 条 件 yE nCg EL 且 噬 连 
续 ), 只 是 用 来 证 明 不 等 式 
Pet EE VY (5.109) 
因此 我 们 只 要 在 GE€ BCa-) 条 件 下 ,证 明 (5. 109) 式 。 
如 果 rtz) 一 十 0;; 则 Felx) = 二 十 52, 折 以 不 妨 设 YCz) 之 十 
coosR+t .了 ， 他 
A= {Tm) < oo, 一 Exg CX) EE gCX 
B= {or(@) < op， Brg CX%) > gCX.)} 
. Tm), weEA 
: gw) 一 | EA 《5. 110) 
往 证 六 GCCX.) 扫 有 (Xe )。 由 于 
Before GN) = Elec (g(r) VN — Erg 《发 
= BlgtX) 一 BLlsB Cg (Xm) 1 )] 
Eg Xi)} 二 Elag( Xe) = Elie dt Ne) 
(5.111) 
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及 由 手 4Xe) 一 一 9 《Xe 上 一 .8. ;所 以 
GX 一 DY (CX)} = gtX,) 


因而 (5. 110) 式 获 证 。 
往 证 当 fE€ 了 时 ,0, € 609): 由 (5.111) 式 及 lw) EF:: 因 





而 
Bt Xo ) = Bloca yt Kr) — 可 = 全) 
GK) 二 Rdg Xo) 
Elocwtlg” (Ko) | ) Oo Blowng (CX) 
=—— Eg (Xm) 
= kr) > 一 00 
所 以 o,. ECC9), 最 后 从 (5. 110) 式 
Volt) 一 本) & sup bg(X,) S Vz) 
因此 由 定理 5. 30, 本 定理 得 证 。 
现在 考虑 (5, 83) 式 的 推广 ， 
定理 5. 33 ”如果 下 面 两 个 条 件 之 一 满足 . 
1) 9 各 ELe 且 存 在 AhE 吕 , 使 4z) 一 玉 ACX- ) 
Bl (Km) < ee hr) PCz) 
2)g€ Ba ) 
网 F(z) 是 gz) 的 最 小 多 正则 控制 。 
证 明 由 引 理 5. 31,2z) 及 W(x) 一 9(2) 5 均 为 过 份 范 数 ， 
由 于 2tz) 是 宕 ,连续 的 ,因此 {z(CX)) 是 右 连 续 的 ， 从 
6 一 CX) | ) 
可 见 YricE 到 ,Ptr Oo 一 1 有 
EAPCNXONT BY EX) Pasrt (5.112) 
在 条 件 1) 或 2) 之 下 , s(xz) 二 V(r) ,从 V(r) 之 hz)， 或 者 9 所 
Be ), 可知 在 条 件 1) 下 
BCX) = Er (CX) EE Eh” CXs)} < 00 
* 299 。 


而 在 条 件 2) 下 

EAVOAXNT = Er (XK) SE Bg (Xe) < co 
对 (5. 112) 应 用 单调 收敛 定理 , 则 得 

EVEX) TS) EVAX,) 

.于 是 Y(z) 是 郑 正 则 的 ,如 另 有 g(x) 为 gtx) 的 也 正则 控制 ,可 是 
多 是 gCz}) 的 过 份 控 制 ,另外 VY rE p(nD 守 p(X ) 守 电 gC(X) ,于 
是 在 条 件 1) 下 ,p(z) 字 Fz) 字 HC7), 因 此 p(2) 守 6G(7) 9 (7) Yh 
tx); 而 罕 条 件 2) 下 ,由 于 pC2) 守 到 P(X) 守 丙 gCX%) 这 一目 g- 
(Xm) ,从 而 plz) 守 0(7) 全 gC(z)V 一 Bg (Xow), 这样 wm(z) 合 是 ez) 
的 过 份 控制 ,而 由 定理 5. 30,5. 31 ,VCz) 是 GCz) 的 最 小 的 这 份 控 
制 ,所 以 ww(2) 实 Mz). 这 样 便 证 明了 ,P23) 是 g(x) 的 最 小 多 正则 
控制 。 





§5.7 ez) 最 优 停 时 


由 定理 5. 26 可 知 , 当 gE€Lo(At) 时 ,YY sO0 
T= inffi 守 OVOX) SC 十 时 
是 :最 优 的 ,如 果 4+ 条 件 不 满足 ., 则 一 般 地 说 站 不 一 定 是 = 最 优 
”的 ,下 面 讨 论 所 谓 sz) 最 优 性 。 
定 兴 5.10 停 时 rz 称 为 是 在 品 忆 号 上 是 ez 最 优 的 ,如 果 Y = 
E 有 ,gC(X.) 有 定义 , 且 
VEO) SE 友人) 十 ED) 全 老 0 (5. 113) 
上 下面 主 要 讨论 (zx) = 二 ee* Cz) 的 问题 。 
定理 5.34 设 gELo,s(z)=eV (zx), 且 对 xE B= {xr:V (Cr) 之 
oo 
户 (jime(X) 宇 站 =1 C5. 114) 
WY 0 
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of 一 inf {2 ee OV (Cx) < g CX) 十 sar CK) } {£5.115) 


是 :tz}) 最 优 停 时 ,所 即 
下 (Xi EFC me zEE 《5. 116) 
先 证 明 两 个 引 理 。 | 
称 TECOg) 腐 于 类 玉 (r ,6,e) zE 了 0320 是 指 


及 PXI Ed 《85. 117) 
引 理 5.35. 设 gEios, 则 对 zxEBA{rV <coy 0 及 * 
全 0, 类 玉 (z,5, 丰 是 最 优 停 时 的 充足 羔 , 亦 即 
EE 
证 明 在 集合 {+<5?)} 上 
GN) TL VCR) — er (CX,) 
因此 YY rECt9) 
BGKY = Biliscag Ke) + Belg CX.) 
EE Blin (VK) — er CORN) + Plea VCX,) 
= EVCXY 一 es CK) (5. 118) 
由 定理 5. 27 ,F(x) 是 最 小 C09) 正 则 的 ,因此 对 rE C(t9) 这 (x,0,5) 
Eqg(X) VE) — 6 
于 是 SU Eo Xr) ed 但 (x) = ,Sup Bg(X. ) ,这 表明 


rE TE :1 


sup 总 gCX') 不 能 在 CN\ 倪 (z,56,8) 中 取 到 ,因而 必须 在 统 (z,e,0) 


中 取 到 ,此 即 
Wr) = i Sup 9X ) 


. 流 1T 可 or 
引 理 5.36 设 yeEro, 且 PimgCX0) 洋人) 二 1,XE 到 , 则 对 一 
切 e 汪 0 及 XEKR， 
VOr) = Blerco VXy) 十 Blesse) imgfX 





(5. 119) 
证 明 . 由 (img(X) 之 0)=1, 可 见 g€E Bte ), 由 定理 5 33 


+ B30: 


Bl CK) 十 Bl HmMVCX) SE Vz) (5.120) 
往 证 相反 的 不 等 式 , 令 和 一 2 xzEao ,由 引 理 5. 35 可 以 找到 EE€ 
EI) ;使 得 
Vz) = limBg(X,) 
对 r 一 及 5 二 min(Czt, 人 7) 说 用 (C5. 84) 式 , 则 
VO)= in 有) (vr €E RG) TLC) ,rT, < oo) 


SE lm Bl < (CX, ) 


lim Bt, Aareool 《天 Cr， 站 
oo 


A 
A limL Ee. nse n cea CX) Bler asemN er, ma CXa) | 
< 


Bm Edo ca Y CX ) 十 BloremNne za VX) (5.121) 


由 于 不 亿 统 (6 ,8) 
lmbto ca CX) < limd, = 0 
注意 到 (co<oo) 门 (rcDCCe<eco), 由 (5. 121) 得 
Vr) EE Bieremt (Xo) 十 可 are limgC X.) 

从 而 (5, 119) 式 获 证 。 

定理 (5, 34) 的 证 明 , 先 证 对 所 有 的 zx€ Bo,B.g(Xs) 存在 。 由 定 
理 5.28 可 知 在 总 上 ,VY (x) 是 过 ,连续 的 ,因此 不 但 19(CYDJ 0)， 
而 且 过 程 {Y CX) 关中 都 是 右 连 续 的 , 由 5 的 定义 

9X¥) = Tce gt Xs) + Neate lmgX) 





2 0 Ola CXr) 十 ores limglX,) 
. 当 0<el1 时 ,W YEB,; 则 有 
四] 一 ore yt Ne) TT dso) limgCX,) 
六 而 Bg9 0K) 宇 0; 当 之 1 时, 则 - 
gCAXs:) 六 (一 1) {一 feo CXFY OO— dee) limgCX) 
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从 丽 恕 9(3z) 蒂 (一 Jr 之 一 co 因此 对 一 切 z 代 部 59CXz) 均 
有 和 定 浆 ， 

往 证 55. 116) 式 ,出 引 理 5.36 以 及 过 程 {gCX)) 和 {人 CX} 的 
右 连 续 性 ,有 

Vr Elseco ry (Xi) Els my limgt Xu) 


Bere Lg Rie) 十 eV 230) 十 Bley en) limgCX,) 


Ee 
手相 (Xe 4 ee Bila CRE) (5. 122) 
但 Pdim 8g (X) 宇 0)=1, 因 此 
0 Bl mg XK) (5. 123) 
而 由 引 理 5. 36 


EB ds Ki) 一 e[LV (ry 一 Ef:s en) limog (CX)] er Cr) 

再 由 (5. 122) ,于 是 
Vx) 过 有 人 Ya) + er (x) 

定理 得 证 。 

注 ? 定理 中 的 条 件 (limg(X0) 字 中 二 1, 可 代 以 :zoE #8 时， 
8 jimgCX)> 一 00, 导 时 可 令 

ECF) = ef Vr) — E, limg CX }] 

注 8 本 定理 在 离散 情形 也 是 成 立 的 ， 此 时 只 须要 求 gEL,, 

HY rEB,P, (limgCX, ) 闻 0 一 1， 


8》5.8 关于 和 值 函数 的 解 


在 离散 情形 ,我 们 有 (定理 3.26 及 8§ 3. 8) 
V(r) = ox) VY TZ) 
因此 可 以 从 解 此 省 数 方程 求 得 Ytz) ,在 连续 情形 相应 的 结果 是 什 
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女 呢 ? | 
文献 [3]§ 3.8 的 定理 15 报 述 了 这 一 问题 ;: 

设 gELo,y 令 19 一 {1:9 (7) 一 FO} ,606 二 下 fm; 则 对 每 一 个 x 人 
Go 人 {rx} 之 o0} ,V(rz) 属 于 特征 算 子 客 的 定义 域 ( 在 多 。 拓 盾 
下 ) ,并 且 是 所 谓 广 浆 的 stefan 问题 的 解 

BT) = DrE Cf FC) < 00} 
Er) = gr rE fA FO 

这 里 特征 算 子 就 是 指 广 久 无穷小 算 子 , 且 对 任何 fE 路 (家 的 完备 
化 ) 











- 一 一 EE, 世 。 " 一 
F(z) 一 了 


其 中 一 inf {这 D0 ;XERBNG)。 | 

特别 当 过 程 KxX, 罗 ,,P 疡 ?是 一 个 上 维 wiener 过 程 ; 且 YCz} 二 次 
可 微 又 9E 1s 时, 则 人 就 是 laplace 算 子 ,所 以 上 是 广义 stefan 
问题 的 解 





Zr) 一 0:zE Cf {rk (lr) < ee) 


Frz)y = gar CE EN\Co | 
一 般 地 说 stefan 问题 的 解 不 唯一 ,为 了 得 到 stefan 问题 的 唯一 
解 必 须 对 kz) 作 其 种 假定 。 
下 面 考虑 一 种 情形 ,在 此 情形 我 们 可 以 得 到 Ytz) 在 弛 + 上 满 
足 所 谓 “ 光 滑 过 去 "的 条 件 , 藉 此 在 许多 时 候 可 以 确定 Vcr) 以 及 最 
优 规则 的 表示 。 
设 *=《Xin 宅 4,P) 是 一 维 连 续 的 标准 马 程 , 取 值 于 (6, 移 ) ,8 
CR,gE ILA ,4-) ,假定 Y yE 1%, 充 分 小 的 >0, 和 集合 
Og = {ry — ET 
Or = (zy ryte 人 En 
可 是 , 当 y EE 1 时 ,Vly) = y(n) 且 
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OD UU or) = O00 A {rsjr—y| < 
令 二 inf iif 字 0; EENOCD)1, 我 们 有 下 述 的 铺 论 ([3] 之 


§3.8&8 定 理 16) 

设 二 一 (多 :Pt 是 一 维 的 连续 (标准 ) 配 氏 过 程 ,8 
R,GELoCAdAT 4d ,假定 

ALl) gO—=T (Pg) Tole)  yE dl 


A2) 在 点 yE ai 的 某 个 邻 域 O CD 1}， ,大 导数 9 9, 





F 
2 号 存 在 且 连 续 ; 
A3) 对 某 个 t>0,P(X6 0) 二 yg 一 中 0C>0, 则 在 点 9E 91%， 





有 
d— V(x) = | 
dz dr 
关于 ! 维 情形 见 [46]。 
由 上 述 两 个 结论 可 以 得 到 、 


定理 5. 35 设 上 述 条 件 满 足 , 则 rz 是 下 述 广义 stefan 问题 
的 解 
BBP) 一 和， 到 多 和 让 
Vz) = git)}, ED 


d=- 一 | 
dr 一 dD | ,, yea Ot) 安 Go 





dr dz 
d+ (zy d+ gtr) * 
2 = 2 ls ¥EDNY, OWE 
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第 六 章 “多 指标 最 优 停止 


渭 机 过 程 X 中 的 :与 其 说 成 是 时 间 , 还 不 如 看 成 为 参数 ,其 
直观 背景 无 非 是 依赖 于 的 一 族 随 机 变 基 , 在 单 参数 的 情形 ,我 们 
认为 1 的 性 态 ( 取 值 范围 以 及 全 序 性 ) 与 我 们 通常 时 空 观 下 的 时 间 
是 一 样 的 ;因此 称 1 为 时 间 。 这 样 看 来 ,依赖 于 多 个 参数 的 随机 过 
程 ,或 称 多 指标 随机 过 程 无 疑 是 有 实际 意义 的 研究 对 象 .所 以 讨论 
包 指 标 随机 过 程 的 最 优 停 止 是 十 分 自然 的 。 

到 了 多 指标 情形 (例如 二 沸 标 ) ,过 程 Xi 的 指标 集 {Cs, 四 } 就 
是 一 个 偏 序 集 ,这 一 点 使 得 多 指标 过 程 与 多 指标 最 优 停止 的 理论 
都 与 单 指标 情形 有 深刻 的 不 同 。 

多 指标 过 程 的 最 优 停 止 最 早 的 较 系 统 的 研究 是 1966 年 Hag- 
gstrom,G. W 的 文章 1, 文 中 作者 提出 耳 树 的 概念 ,定义 了 控制 变 
量 并 证 明了 对 非常 特殊 的 过 程 的 最 优 停 点 的 存在 性 ,[53] .L544 两 
文 引 进 了 一道 路 与 策略 的 概念 ,1981 年 walsh 在 [55] 中 对 连续 两 
参数 过 程 推 广 了 可 选 增 道路 与 策略 的 概念 ,Mandelbaum 和 Vander- 
bsi[59 钱 究 了 离散 两 参数 过 程 的 snell 包 的 结构 ,1982 年 ,Miletts73 
将 B 一 C 拓扑 引入 两 参数 过 程 最 优 停止 的 研究 , 1983 年 ,Mazziotto 
G. 和 Szpirglas- 和 利用 snel 包 的 方法 ,证 明了 当 报 酬 过 程 X= {X;， 
区 ,,zE WV} 是 美 (四 上 且 limsupX. 志 X% 时 ,至 少 存在 一 个 最 优 停 点 的 
结论 ,1985 年 -59] 利 用 双 位 势 理 论 研 究 了 双 马 氏 过 程 的 最 优 停止 
问题 。 

本 章 对 多 指标 最 优 停止 某 些 最 核心 的 内 容 作 一 般 述 ， 
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3 6.1 停 点 、 可 选 增 道路 与 策略 


设 过 程 的 指标 集 1 二 宠 : 或 -74! 这 里 统 + ,f+ 分 别 表示 非 
负 实 数 或 非 负 整数 全 体 。 . 

在 于 上 定义 偏 序 如 下 ;对 任 一 z= 二 (s,s' 一 (9 相生 旦 二 
= 是 指 s 坟 s' 且 1&t ia<a 是 指 :se 且 z 了 x ;zz 是 指 s<<s' 且 1 
< 





= 一 (ss 所 的 模 1z| 定 交 为 ;|z| 一 s 十 刁 
下 一 号 U lee } 为 了 上 的 单 点 暴 化 。 
设 (&, 多 ,2 是 完备 的 概率 空间 ,多 的 子 代 数 凤 {FzED) 
满足 以 下 条 件 
下 :对 每 个 = 扣 了 多。 是 完备 的 ; 
下 JW xm 
及 : 若 4 一 家 : 则 { 多 :是 右 连 续 的 ,也 邵 了 F,= 门 7 
对 2 二 (8s,0)， 记 多 :一 ， sa ， 3 一 Cut) 
Fi: 对 每 个 =E 1 多 :和 .多 关于 是 条 件 独立 的 ， 也 即 
时 AE SBER,? 
PiABT .optA|F,) » PCB|.F.) 《6. 1) 
称 {. 多 ,,zE€E 是 本 质 条 件 独立 的 ; 记 为 C.8.1, 如 果 W AE 多 站 
E 多 :有 
(pA ZIPTO NDB OC{PAB| SF.)>0 
: 《6. 2) 
显然 硬 条 件 可 推出 C.8. 41, 且 如 果 政 条 件 成 立 , 则 多 ,与 史 。 
基于 . 光 s** 是 条 件 独 也 的 。 


定义 .1 在 开 中 取 值 的 随机 变量 0 称 为 是 ( 多 ,) 停 点 ,车 对 | 
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每 个 2E HN, {wo2) EF 
记 》 ={o;z 是 a.s. 有 限 的 停 点 ,县 2X; 一 co ,二 


沁 . 且 o> 小. 设 o 为 一 停 点 , 记 久 = V 多 
{4A€EF aN oC ory zc LL} 
对 于 多 可 测 的 随机 变量 ,常常 方便 地 记 为 XE 名. 

停 点 具有 许 央 类 似 于 停 时 的 性 质 

引 理 6.1 1° 若 (X oz" 是 适应 过 程 ,或 (X42 
E 琉 - 引 是 右 连 续 的 适应 过 程 , 上 且 X- 是 . 完 - 一 多 * 可 测 的 ， 则 对 
任何 停 点 o,X, 是 2? 可 测 的 ; 

2 若 oor 都 是 (6 多 2) 停 点 , 且 0 坊 5， ga. 8; 则 .有 

若 gos 都 是 (有 多) 停 点 , 则 49 二 gq2} 5 {og 
os | 

和 若 Co) 为 一 列 CO) 停 点 , 且 limo 二 a 8 sy 则 也 是 
Co) 停 点 ; 

下 若 停 点 列 %% 9, 则 .F, 一 作 久 7 

证 明 ”只 对 也 一 经 .的 情形 于 以 征明。 

1 首先 证 明 有 迷 续 适应 过 程 是 循序 过 程 , 即 对 一 切 =E . 吕 +?， 
令 : 二 {2 玉 - 和 z} Xyiiwxql 是 东 ( 殉 :)X 沪 :可 测 的 ,这 里 
泡 (Rz) 是 指 沈 : 上 Borel 可 测 集 的 全 体 . 事实 上 ,对 一 切 zE 绝 1， 
及 正 整 数 ", 令 

XE ,0 Cm) Fe 0,0)] 























十 > Dx 了 De 
j=1 “一 2 了 2 
(6. 3) “ 





则 xX" 晨 党 ( 统 y) XX. 守 ; 电 可 测 的 ， 且 


lim 人 ef 本 一 苹 sd [eR x 0] 


No 


* 08° 


从而 扰 frasx 四 是 殉 ( 绾 z)X 多 > 可 测 的 。 

设 BE 声 ( 渡 ) ,对 一 切 =E 沈 1', 由 于 {Xz 多 szE 家 -人 是 和 外 
序 过 程 , 所 以 Xr: 作为 可 测 上 映射 o> (ec(o) Azo) 与 (Co 一 Xefo) 
的 复合 是 .多 * 可 测 的 ,从 而 {w; Xenz 人 8)E.Fz, 因 此 YW zE 1 

{Xd EBB) = XE NN oS) Es 
六 Xloco 二 limXonidwsn 是 多 -可 测 的 ,因此 Xiocos 为 实 。 可 
测 的 ,这 样 
Ko = Ko dan Kd) 
是 多。 可 测 的 。 

2 显然 。 

3° 设 ciyos 是 C 实 5) 停 点 , 则 TI W cs 也 是 (到 四) 停 点 yolyos 都 
是 安 .vc 可 测 的 , 故 对 一 切 zE 家 (ao 一 oo 门 {ee 科 z) = {0 二 
oa} Nt OrV os2)E 灾 z, 这 吉明 |{ (人 ; 同 理 可 证 1 Tl} 
EW, 


4 2? ‘(92) = {limo = 但 Ut {ous} E Fe. 


5* 由 2° 可知. 多, 三 站 , 曙 一 方面 ,对 任意 的 4E 们 F。 及 2 
EE 





AN Coa) — Nn AN (nS) EF 


所 以 4E€ 芒 ,, 因 而 . 字 。 二 NS. 证 毕 。 

要 注意 的 是 ， 单 参数 售 时 的 许多 性 质 并 不 能 者 推广 到 个 点 的 
情形 ,例如 

1) 对 于 两 个 CFz) 停 点 Clygay0l 由 m3, 不 一 定 是 停 点 ， {0 二 
os} 也 不 一 定 属于 多 。; 

(2》 对 于 停 点 到 (0.) ,zc 一 Y ,不 一 定 有 多 ,一 Y 多 


与 停 点 的 概念 有 紧 窗 联系 的 是 策略 的 概念 。 
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定 关 6.2 设 {1537E .ts )} 为 非 降 的 停 点 列 +: 令 一 mE fiDa 
= inf $=c0, 对 停 点 go, 称 ?一 C0,),7) 为 从 o 出 发 的 策略 , 若 
j tio 
ii 当 Per 时 ,ED TD 十 [013 十 610 当 pr 
时 ,一 Ce 
ii Dr GE Se, 
其 中 D0,) 称 为 ti, 的 直接 后 继 。 
所 有 从 o 出 发 的 策略 和 集 记 为 多 .并 记 钨 = 多 ,, 易 证 对 外 == 
《0 ,TT) 巨 多 ,7 为 忆 4 停 时 ,Wi 为 CF) 停 点 。 事实 上 
CD ND TU UU NEF, 
Do {人 2} 门 1T 一 J}E 信 。 


4 是 根据 策略 他 = C0,) ,rz 作出 来 的 停 点 ,为 了 表明 它们 的 
依赖 关系 , 记 0 一 a 了?)， 
定理 6.2 设 { 多 ,zeE -3 满足 而 条 件 ,eto 是 两 个 在 
-本 人 慎 的 (多 2) 停 点 ,os 委 o 则 存在 策 栈 rE ， 
使 得 ts . 
证 明 令 坟 =o, 假 设 满足 定义 6.2 的 停 点 而 ,U2-… ,已 定 
淆 好, 令 久 二 个; 二 2) ,4 二 人 们 {0 二 2)} ,有 8 二 仿 门 {0 一 z 十 G0), 某 
个 沪 1), 则 48= 名 , 令 访 二 {P0812) 守 0}, 册 癌 条 件 ,P(A 
PB 481 字 z) 一 0 而 P(AD 祷 一 4 吉 当 wwEA 
时 ,PCB1 字 5) 二 0 ,居多 丰 后. 因而 4 门 坟 == 说, 记 0 二 入 一 4 一 咎 , 定 














3 | 

a wE Bo 6. 5) 

z 十 (1.0) ， wEC 

则 Ur 是 肥 " 可 测 的 ,这 是 因 为 中 和 2 EE } 门 {0; 二 

2 Ez 由 (6.5) 式 可 知 , 当 ?<r 时 ,ED 当 PPr 时 , 属 一 
- 310 ， 


{二 02. 证 毕 。 - 
定理 6.2 表明, 在 条件 下 ,任意 两 个 停 点 雹 可 由 筑 略 连接 
起 来 。 从 而 对 任意 的 有 限 停 点 0, 总 存在 策 路 了 = C5) ,DD ,使 得 so 


一 7 





下 面 引 入 两 参数 拷 与 上 款 的 定义 并 介绍 相应 的 Doob 停止 定 
理 . : 
定义 6.3 两 指标 过 程 X = {XsyFzc1zE HH}) 称 为 上 著 , 如 果 
时 和 用 ,再 | 时 | ce 上 有 由 . ， 
BCXa | 2) Xs C6. 6) 
车 与 一 X 二 {一 Xs 多 ss,2E HU) 均 为 上 贰 , 则 称 X 为 靳 。 
注 1 对 于 两 参数 过 程 ,相应 于 轨 还 有 所 谓 强 靳 ,、 习 靳 , 双 靳 
的 概念 。 设 让 二 {Xs Hy, 2 开 为 可 积 过 程 , 记 史 ， YY 
和 对 z= 二 Cs 和 站 攻 z 一 [Cs! ti)), 令 . 
XCELz2 oAXew yO— Kry— Xe.v Xo,n 
如 果 和 将 (6.6) 换 为 
ECXC[z,2 1) =0 - . (6. 7) 
则 称 X 为 弱 般 ;如果 将 (6.7) 中 多。 换 为 守则 称 守 为 强 部 ;如 
困 对 固定 的 i{ 和 X09 名 or ;8 万 深 |1 或 人} 为 单 参 数 贰 , 则 称 X 为 
1 一 靳 ,类 似 地 可 定义 2 一 磐 ,如 果 苞 既是 1 一 舱 , 又 是 2 一 著 , 则 称 
X 为 双 靳 。 | 
类 似 可 定义 强 上 轨 , 弱 上 拷 与 双 上 园 , 容 易 证 明 强 车 是 双 靳 ， 
双 寺 是 革 , 蔷 是 弱 靳 ,Ff 条件 就 是 保证 了 著 为 双 蒜 ,53 
定理 0. 3 设 天 一 XiaE -是 上 车 扫 扩 是 两 个 
有 愉 停 点 , 则 
BXos| EX, C6. 8) 
证 明 由 于 是 可 积 过 程 ,o,,0s 是 有 界 停 点 ;因此 如 | 一 
cos,i 一 1,2, 册 定理 6.2 存在 策略 ?一 (60 17) EF, ,使 得 而 二 a， 
1 一 记 久 二 人 ,二 21 ,0€ 久 :1 且 C9.,4,Bv 如 定理 6.2 所 定 
。 311 。 


区, 由 


1 

| [rs 二 ona 十 Xara 十 | xn 
注意 到 | 站 A2=@ 门 { {0 :一 和 门 {gs =2} EFANB=QNgN Ee 
YQN te 一 二 一 上 EE. 实 gz. 所 以 


jn 大 xz SS 
ds 


on 这 


| sto SR | . Xs 
oN 0.— As? QN tg,—A— By} 


JX, < jx 一 jx 


由 于 cz 是 有 界 停 点 , 套 存 在 尺 , 使 得 Uy 一 04, 对 于 任意 的 8E 


| 和 = 
= 0 ww 


《6. 8) 式 得 证 。 

为 了 将 poob 停 下 定理 推广 到 一 般 的 情形 ， 我 们 需 涉 及 一 点 关 
于 两 指标 霓 的 收敛 性 的 知识 。 由 于 骂 1? 或 人,* 上 存在 着 无 穷 多 
条 趋 于 oo 的 增 道路 ,因此 多 指标 挝 的 收 敛 性 就 要 复杂 得 多 。 

引 理 6. 4“ 设 怡 ,由 是 完备 的 距离 空间 ,7 为 定向 集 ,Y zE 上， 
Xz 扎 豆 , 若 对 于 中 一 切 递增 的 序列 全 :Ew ,元素 殉 交 和 
-J 人} 是 收 襄 的 , 则 {Xz1z 包 了 是 网 路 人 敦 的 。 | 

证 明 若 {Xz,zE€ 术 } 不 是 网 政 伍 的 , 则 由 如 的 完备 性 ,可 知 
{xXzzE 1 不 是 Cauchy 网 .于 是 存在 s>0, 使 得 Y zx 和 王 存 在 2 所 
Ha! dt Kes Xs' > 于 是 存在 一 个 单调 增 的 序列 {zx:E 

} ,而 d(Xs, ,Xe ，)>>e, 矛 盾 。 

引 理 65 1) 设 关 一 {Xz2zsyzE 是 上 诬 , 且 sup& XX- 
co, 则 fxXzyz 扣 也 必 依 概 率 收敛 于 可 积 的 随机 变量 X; 

"2+ 


从 而 


5 。 


2) 设 六 是 非 正 上 堵 , 且 supB81 Xz 之 oo 这 1), 则 Xi 必 如 收 


分 于 基 一 XE DD; 
3) 设 半 是 一 致 可 积 的 上 拷 , 则 必 下 收敛 于 某 可 积 的 随机 变 
重 YX- 


《在 2) ,3) 情 形 下 , 均 有 ECX | 名 ;之 Xs, 即 右 闭 。) 
4) 设 XE D9),p 尝 1, 则 
ECX| Fi) BX| YF) 
证 明 1) 令 S= {全体 a.s. 有 限 的 随机 变量 } ,在 加 上 引入 距 
离 


15 一 
Fie 四 


则 (Z ,4) 是 一 个 完备 的 距离 空间 , 且 % 一 sd(s.,5) 一 0. 考虑 卫 中 
任何 递增 的 序列 {Xs :aeE.t) 是 单 指标 的 上 上 蒜 ， 
- 外 supE :cos 可见 {Xz RE}) 依 概率 收 误 ,也 将 按 距离 4 收 
伍 , 由 引 理 6.4 即 知 {Xz,zE 中 } 是 网 收 敏 的 ,从 而 存在 X 使 1Xz。s 
所 2} 依 概率 收 误 于 XX 注意 到 sup8 X. 00 与 sup81Xz|<<oo 在 上 
鞭 的 情形 是 等 价 的 ,由 Fatou 引 理 ,8|X.| <oo; 

2) 考 虚 完备 的 距离 空间 (8) = {是 随机 恋 量 ,EE 之 oo0)， 
类 似 地 可 证 ; 

3) 考虑 LC8)。 由 于 在 2)、3) 情 形 下 , {Xs,zED) 是 Cp 祈 1) 


收 傅 于 Xe， {Xs,zE 如} 是 一 致 可 积 的 ,由 Farou 引 理 邑 得 :BCX | 
有 lim BCOXyE' | ; 右 闭 ; 


f(s ,n= 


4) 着 ED , 则 .二 ECX|. 了 Fs) 是 I? 有 界 靳 ,由 2) ,3) 村 


一 M。. 显然 Ms 是 了 一 Y.97: 可 测 的 ,由 于 {M.} 是 右 闭 的 , 即 
MG= EM, Fy a.s. 
Y 4E 4， | ae = | = .由 测度 扩张 的 唯一 性 , 易 知 
| =。 3]3* 


Y AE 多。 亦 有 上 上 式 , 所 以 MM 一 BX| 用 直 ， 
定理 6.6 设 {Xz,Fosz€EN*} 是 上 拷 , 而 且 其 负 部 一 致 可 
积 ,g, 之 oz 是 两 个 停 点 , 则 
BX | EX ts (6. 9) 
证 明 对 每 一 正 整 数 ” 令 
加 一 Tt 十 【co ,oo) fr ow 
0 一 des 0s] CO od fost 
易 知 0. 中 ,0 痢 是 (Fj) 停 点 ,上 且 0. 中 所 0.. 因 为 {2E +? :2 Cn， 
ny Cocoso0)) 与 {2E VzR(0n)1 (a 一 1,1 十 1)} 序 同 构 而 由 引 
理 6.5 中 知 ,在 本 定理 的 条 件 下 ，{Xs, 记 sz,zE 吾 } 蚌 右 闭 的 上 鞍 ， 
由 定理 6. 3 





ECXo 人 [EE ， ni 
而 
下 Xe | = ty 
=R(Xe | ) 
Xo dre dnl 
注意 到 me mmG 一 1 2) ,limXe 二 Xo 由 Fatou 引 理 
BOX, [Fr oe 
Elim BOX | a fre ,0 


Xo do we 
而 [ce 一 天 2] 不 吕 ,所 以 (6. 的 式 成 立 。 
现在 转 到 卫 二 鹃 ,: 情形 讨论 策略 与 可 选 增 道路 的 概念 
定义 .4 称 { 人 0::z 宕 90} 为 可 选 增 道路 ,如 果 
YY ze 是 (Fz) 停 点 ; 
说 当 z 芝 =z 时 六 5 
十) 对 几乎 所 有 的 wo, 肌 射 zt 连续 。 
定义 .5 设 {0.,2 这 0} 为 可 选 增 道路 ,7 为 C4)o 停 时 , 则 
314. 


称 了 = 一 (GD)5r) 为 策略 。 

引 理 6.7 设 i,t 字 90} 是 可 选 增 道 路 ,7 是 5 多 ,je 停 时 , 则 
六 是 (Fj) 停 点 。 

证 明 困 { 多 >:ZE 穹 +} 是 右 连 续 的 , 故 空 一 用 ForVYZE 
Rr UL } ,从而 只 要 证 对 任何 《Da 
人 信和 .家 : 记 @+ 为 全 体 有 理 数 , 则 

{Ue! } = 了 {rr} {Ue NN {U6 } 


因此 {外 EF CR 

下 面 的 定理 表明 ,对 任意 两 个 有 限 停 点 0.,04, 存 在 一 条 可 选 
增 道 路 将 它们 连接 起 来 ,而 且 存 在 一 个 策略 了 二 C0) ,7) ,使 得 5 
一 丰 ? 8, 

定理 6.8 设 {F775,zE 撤 ;*} 满 足 忆 条 件 ,0 所 0s 是 两 个 有 限 
的 停 点 , 则 必 存 在 策略 二 (C40) :本 使 得 太一 ce os 

证 明 对 i 一 1,2, 令 





[A p33 有 TO 
《6. 10) 
则 es 各 一 1,2) 是 在 平面 上 二 进 有 理 点 集 名 中 取 值 的 停 点 , 且 oi 所 


ma" ln ci" 一 ii 一 1 2, 


R—+ Do 


对 每 个 4, 由 定理 5.2, 存在 策略 人 二 (C0),r) ,使 得 Ui 一 
ce 1 一 en 其 中 (9 是 在 上 述 人 中 取 慎 的 停 点 列 。 
记 U27 二 《53 ,名 ) ,定义 
CP U2 St p+ 2 
《6. 11) 
则 可 证 明 {， .> 中 是 可 选 增 道 路 ， 二 01, 事 实 上 ,对 任意 的 z= 
Cz1322), 当 p27- "tp 十 172- = 十 
+ 315 ， 


[zs JL2*zs1 
{ez} = 2 和 2 {= 0727" ,kay) 


2— (jo RD) a < 
一 人 hE 


而 当 二 p2 一 时, {U2Sz) 一 {03&z) Es 是 明显 的 ,可 见 {09) 是 584 
中 取 值 的 停 点 列 , 且 关 于 ti" 非 降 且 连续 ,这 表明 (0D 是 灾 .* 中 
可 选 增 道 路 ， 
注意 到 ,对 每 个 图 定 的 %,0.C%) 三 (of9(w),o2(6)) 的 两 个 分 
量 均 是 有 限 的 实数 , 记 有 的 一 oo 十 co8(a) 由 定理 6. 2 的 证 
_ 明 看 出 ,对 于 @, 中 的 策略 下 ,有 <2"X (oi(%) 中 两 个 分 量 之 和 ) 
和 2D(w) 十 1. 换言之 ; 当 pgp 六 23D(6) 十 1 时 ,tB 寺 (Cw) as 从 而 
由 (6. 11) 式 , 当 人 > 十 过 时 ,对 一 切 共 
{to Co 一 的 (oO) gs. 6,12} 
对 于 有 限 区 间 [0,DCa) 十 序 ] 上 的 函数 列 修 二 (s+,27), 因 为 
(af}, {从 都 是 有 界 数 集 ,用 对 角 线 选取 法 不 难 选取 一 个 子 列 ( 仍 记 
为 ) fs}, {外 } ,使 得 对 一 切 *E Qs 站 [0,D(w) 十 去 ], 有 
Sd Ti, (6, 13) 
可 以 证 明 对 一 切 2>1 
| | 名 一 一 | 和 3 一 s| ,| 将 一 天 | 委 31 一 s| (6.14) 


1 








对 于 任意 给 定 的 <>0,Y 1€ [0,DC6) 十 去 ], 可 取 *EQ+ 由 50,DC%) 
,1 ， 
十 豆 赴 使 | 一 ?| 志高 ,而 由 子 
[s+ — 8S; | . 

二 [| 二 | 一 S| 

安 人 | 一 ?| 十 1 一 全 | 
由 (6.13) 及 6]i 一 ?|<< 广 ,存在 N 当 w> 入 时 ,YtE[0,DC6) 十 去 ] 
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1 一 全 |<e 
这 表明 {S55} 是 一 致 Cauchy 序列 ,于 是 人 一致 收 仑 于 某 尽 , 同 理 加 
一 臻 收敛 于 人- 这 样 对 于 tE [0,D(o) 十 读 ] 
下 一 致 收 帝 于 了 由 一 (2 
而 当 >-DC%?) 十 子 时 010) 二 limW(6) 二 2(@), 令 
. T=inf {tO (0w) = 0 (wm)} 
显然 r<ce , 且 由 心 的 连续 性 ,可 知 : 
U0 aq, 3. : 证 毕 - 
注 2 《6. 14) 式 补 证 如 下 :Y 0,5 访 如 1 一 4 六 玄 , 且 
pa "hp+1)2 ,2 "gt+ 1)2*, 则 
[全 一 如 | 
一 18 十 [24 一 0[CS 1 SS C2 PICS 一) 
S| 二 |r 一 | 十 1153+: 一 S| 
go— p12 42 + 2-"e3 th|. 
如 果 |: 一 4 氨 示 , 显 然 | 一 厨 |<<21: 一 入 . 
注 3 本 定理 的 音义 在 于 将 二 维 的 停 点 mvz* 用 一 条 依赖 于 
单 参 数 的 道路 {Ui,t 尘 0} 将 其 连结 ,由 此 将 西 指标 的 最 优 停 填 化 为 
单 参数 的 问题 来 处 理 。 | 
， 昌 然 对 于 平面 上 停 点 总 对 应 着 一 条 从 原点 出 发 的 可 选 增 道 
路 及 策略 了 ,使 得 =c(7)， 但 对 于 三 维 空间 上 的 售 点 都 不 一 定 能 
用 一 个 策略 来 表示 .5 
对 于 连续 两 参数 的 随机 过 程 有 下 面 的 停止 定理 。 
称 上 靳 {Xz,. 记 zz 鹃 + 是 类 的 ， 如 果 存 在 右 连续 的 上 霓 
序列 {XX ,入 ,2 家 ,使得 千 站 XX(n>cc). . 
定理 6.9 设 U,V 是 有 界 的 (Fz) 停 点 , 且 USV, {Xe 多 zz 
乍 鹏 -是 区 R 上 束 , 则 
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ROX, |B) EX 


SS G2 RE er nN, 27)] 
yD G2 hE nen mV CR 7,27)] 
则 < 让 是 在 Q; 中 取 值 的 有 界 停 点 ,由 定理 6. 3.8 | 
为 上 贡 。 由 于 
5, 且 站 是 右 连 续 的 ， 有 lim xb = 二， 而 Tim EX?, < EX < 00, 
{ 和 Je 是 一 至 可 积 的 ,于 是 六 姑 ，， 呈 ao 是 上 歌 , 另 一 方 
面 ,由 入 委 所 和 和 也 是 上 鞠 , 同 理 可 知 总 ， 
台 , 台 ,是 上 园 , 此 即 万 ( 区 1,) 志 澡 .由 假设 总 人 Xz, 且 一 00 
<EXKISESEEY ,应 用 单调 收 伍 定理 , 则 得 
ECXr | ) =LimB(CXt | RX 证 毕 
由 定理 6. 9 显然 可 知 :如 {Xz} 是 类 R 上 著 , {40,1 汪 0} 是 有 
界 的 可 选 增 道路 , 则 (2 :多 oz0)} 为 单 人 参数 上 吉 。 | 
下 面 的 定理 表明 ;在 两 参数 情形 , 求 最 优 停 点 可 化 为 所 请求 最 
” 优 策略 的 问题 。 
记 B= {TE DNA Dr a ) BZ. 对 
任意 的 TE 名 , 定 头 
Xr = Kan) A Xe, 《6:15) 
定理 6.10 设 {了 F,,zE 统 ;*} 满 足 条 件 , 则 


sup (BX:0€E D1} =—sup{ EX, TE 2*)} 
证 明 ”因为 Y rE ,是 (多 停 点 ,所 以 
sup{ EX TE DB sup (BX rE > } 


而 对 于 任意 的 o€ 2 ,由 定理 6. 8, 存 在 YE 名 .使 得 "一 -因此 
. 318 。 


sup{ EFEX, 2 }suph Xr :TE 区” } 
今后 总 假定 报酬 过 程 {Xs;:zE AA.?} 是 可 积 的 :也 即 YY zsE 
NE|Xs |eo, ” 


$ 6.2 离散 两 指标 的 最 优 停 目 


本 节 设 指标 集 1 一 -人 我 们 考虑 一 类 更 为 广泛 的 最 优 停止 
问题 。- 

称 XX 二 {Xs s) 为 停止 报酬 过 程 , 它 表示 停 在 某 2 处 所 获得 
的 停止 报酬 ; 称 关 一 {X02E N22 全 Da) 为 转移 报酬 过 
程 .相应 于 策略 2 一 (GD) ,nmDE 邹 , 定 义 报 酬 





X= Ze Xe te Xe, 《6. 16) 
其 中 a€ (0,1), 称 为 折扣 因子 ,这 里 右边 理解 为 当 + 一 0 时 ,和 式 
为 零 ,如 果 X? 圭 0, 县 n=1, 则 (6. 16) 式 与 (6. 15) 式 一 致 ,因此 讨论 
《6, 16) 形 式 的 最 优 策略 问题 包含 了 最 优 停 点 问题 ;如 果 名 二 0,r 
三 oo, 则 Xr 二 eXw,s,， 这 种 不 停止 的 策略 正 是 动态 规划 中 所 研 
究 的 内 容 。"" 


本 节 中 假定 x 满足 4+ 条 件 , 即 
EF sup Xe <Loo (6. 17) 


我 们 从 有 限 情形 开始 , 即 限制 指标 在 2 二 {ZE€ 74?;(0,0) 志 
2Z<SCY wy)} 之 中 ,此 时 只 须 考 考虑 步 数 委 28 的 策略 , 记 
B= =U est) E B= TN , N))} 
Sesssup{ BCX | .) TE GB.*} 
于 是 
二 [一 其 6. 18) 
* 31]9.， 


下 面 的 定理 将 证 明 :Y zsE 2 
ky Max ,ECX ay Cz 本 多 《6 19) 
这 样 由 (6. 18), C6. 19) , 便 可 有 后退 归纳 法 定义 出 每 一 个 六 《zz 
[= 
定义 .4 称 了 二 (CD)wesr ;TE SG 为 可 取 策 路 ,如 果 y《U) 
二 Xn , 且 在 T>>n 于 
ODE tar (Ur) | Be.) C6, 20) 
可 取 策 略 的 直观 意 义 是 每 一 步 都 选取 达到 max 的 最 优 路 线 
定理 6.11 1 VYzE2* 
I (AY max BCX tay (Cz )|.F.) 
2) 若 T*" EE 鸟 * 是 可 取 的 , 则 
{2) = ECXr: |F 




















且 最 优 。 

本 定理 的 证 明 完全 类 同 于 定理 6.12 以 及 定理 6,13 之 (6. 30》 
式 与 定理 6. 14, 这 里 就 不 详细 给 出 了 。 

现在 讨论 无 限 阶段 的 最 优 策略 ， 假设 办 和 后 邓 . 


ex (6. 23) 
eupte (XCD ) TE 2,} (6. 24) 
HOV z= XY max BOX 十 ay(z ) |. 入, (C6. 25) 

对 任意 的 EZ 及 or E {fo} 名 (wv) ,定义 

QD {oo = dr snk losn EX Ht oy lo | 多) 
由 于 -个 +? 是 可 列 集 ,容易 证 明 ;¥Y EZ 

yr)—esssup {ECXCOT) | .BY TE Be} 《6.26) 
RCD Co) = Xo max ECXsst ov (|) (6. 27) 

定理 6.12 设 (6.23) 成 立 , 则 ylz) 满 足 Bellman 方程 
yz) =RCY) C2) 
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证 明 1 对 YY 一 (yyr)E 多 . 


旺 (号 (了 和) 


BZ eX to Xe |F.) 
=cmKt orm B Xn 二 Gd) | 实 ,) 
其 中 J =BCS Xi 二 4114,), 将 (QD),-1,7) 看 成 
是 多: 中 的 策略 ,于 是 re ) 扫 xD)。 从 而 
ECXCTY | .) 
Rn EX 十 ay 1 .) 
XV ax 8 (天 十 的 (2 ) |, 奖 :) 
一 蜗 (?2《S 
由 此 ,y(tz)HCpY C2). 
2° 下面 证 明 y(z) 守 ROY) (z) ;我们 只 须 证 明 
VD Max BCX +ay(2 ) | ) | 
任 取 zz 世 吕 (2 以 及 任意 的 和 EE 名 , 记 二 00,1;: 其 中 
中 一 2 inf {an 守 1 一 上 人 令 二 z, 则 字 二 CU) sosT}E 名 
于 是 
HAPECXTI FYE Hae t+ Xe |.) 
=B{Xw ot Kee, te ta Ko | ) 1} 
=B {Xs 十 EC 人 IF | 
出 于 ?EE 包 :! 的 任意 性 ,上 式 表明 
VC2) 2 max CX 十 ea ) | 多 证 毕 
注 4 条 件 (6. 23) 是 为 了 保证 BX (Ty 有 意义 ,如 果 a<<1, 则 当 
Bsup{Xs tzE A ED) 时 ,C6.23) 总 是 成 立 的 ;如 果 a 
二 1, 则 当地 一 致 有 界 时 ,对 于 可 积 的 转移 报酬 1 } , 《6. 23) 也 成 
立 。 
现在 来 研究 什么 样 的 策 路 是 最 优 的 。 
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”定义 6.5 策略 =C0) ,中 ) 称 为 是 可 取 的 ,如 果 y(0,) 一 
Xs, 且 在 7>>n 上 
DC 二 下 (er op) | Sn), a.s. (6.28) 
这 里 可 取 的 直观 意义 是 “ 走 最 好 的 方向 , 停 在 非 停 不 可 之 时 ”。 
首先 证 明 在 2. 中 存在 着 可 取 的 策略 。 
念 上 一 2 记 王 一 2 一 (0, :2 一 z 二 10 2 一 2 人 作 马 的 前 分 
B= Her U Haat U Hes 
其 中 
Hs = {6:1 = Xs} | 
Het = (mp2) = ECX 十 oa ) | Ns 


His = {op TB Xe tora FINU He 


取 忆 一 记 Vw, 则 人 员 是 (27) 停 点 , 且 
yD) = Un i ) 

类 似 地 ,对 每 个 了 .在 [一 站 上 可 作 剖 分 
Bice + iy! » Hien: 


1 一 Pr fe -an 
同样 可 知 (is 是 (多,) 停 点 , 且 
VY = ,2) 
以 此 类 推 ,可 得 到 一 个 满足 (6.28) 的 策略 2, 旦 
r=inf {tk 0 ,Xr 一 CD | C6, 29) 
这 表明 在 多 . 中 存在 着 可 取 的 策略 。 
定理 6.13 设 (6.17),(6.23) 成 立 ,T* 是 .中 最 优 策 略 , 则 
BCXCT" I FI qa.s, - 《6. 30) 
且 
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EXCT*) = By, 《6. 31 
证 明 我 们 只 人 须 证 明 (6. 35) 式 。 显然 BCXCN } 1 2 
只 须 证 Ply> ECXCT® 1 玫 ,) 一 0, 如 不 然 , 记 4 二 {全 BCXCT* )| 


2 CU" ),T”);: 册 Vs 的 定义 ,V e>0, 存 在 和 和 区 ,使 
ROXCT) 1 多 > 一 亡 (6. 32) 


> 


人 = | 中 一 | xm , 则 由 (6. 32) 
[x > J 一 二 >| XP") 


记 和 一 CCC) T°), 取 
P= 
T= 二 Te 
易 证 六 一 (5 ,FT)E 多 ,而 
BXCF) 一 jxcr 十 | KD) > EXCT") 


与 :为 最 优 巴 盾 , 同 此 (6. 30), 从 而 (6. 31) 成 立 。 

上 面 的 定理 称 为 最 优 原 理 。 

定理 6.14 设 (6.17),(6. 23) 成 立 ,2E 多 ., 则 下 最 优 必 可 取 ; 
反之 ,如 果 e<1 或 ae= 1rc<eo, 则 可 取 必 最 优 。 

证 明 设 YE 儿 .为 最 优 策 略 , 令 

~ ee 十 or 和) 
7 
在 


机 (6. 33) 
,Tk 


易 证 当 k<<r 时 


THD = BCX, Tn) | ) (68. 34) 
且 
Tr UDEV kz0 (6. 35) 
下 面 用 归纳 法 证 明 ,Y 0 
DEC 一 Jo 《6. 36) 
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事实 上 , 当 *=09 时 ,由 定理 6.13,By(z) 一 EXC?T) 二 ECECX(T) 
1 入 以 及 守 ECX(2TD1. 咏 ) ,可 网 Vz) 二 BXCT) | = (2); 
假设 (6. 36) 对 天 成 立 , 则 由 Bellman 方程 


下 2 《 稚 dp 十 epCB iD) 1 ] 
Bm CA 十 ait 1! 
=1(r> dr) ， 


一 并) | 
从 而 , ECsiy Ci) | ) = Brodr (Vir) | FB spy 
CU 二 (exodJr(Wie-1)) :于 是 
toyaytUrri} = Tdr CU) 

再 注意 到 [< 站 [5 一 5 ,于 是 66. 36) 对 8 十 i 成 立 , 因 此 

VOD = J DDS BR, 十 GD | } 

p=Jr Uo Xe 
从 而 了 为 可 取 的 策略 。 设 外 为 多 . 中 可 取 的 策略 , 往 证 在 a 之 1 或 a 
二 1,r<eo 时 , 它 是 最 优 的 。 

首先 证 明 





By 8 x at. a Da, Faip(s)y 

C6. 37) 
事实 上 ; 当 *=0 时 ,因为 [二 (j=[f==00 [ty]=[r>> 
01 均 是 多; 可 涧 的 ,由 (6. 28) 式 
yz) = Xd BE mm CX taytt) | 
C6, 37) 式 是 成 立 的 、 如 果 (6. 37) 对 # 一 1 成立 , 即 


让 一 上 


Ey(2) = Et Dx CP) TE yo Xs + ey) ) 
由 于 


fe 


Bos aX, ys)) 
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二 一 上 


= Blt) 十 Fr (人 aaa 十 ee 
人 Cr) = [Pet 所 多 : 且 


《一 上 
fr t 2 a Xp apt) ) 
5 一 : 
= {rs C 了 > Ker,, 二 XX ) 
ic0 
一 并 
foro(ZeXeos 十 ay)) 
sm 
— fr 之 er tay 
因此 (C6. 37) 式 对 成 立 , 于 是 
Eytz)— X(TY 


or 【PC > — 2 tx, —e DX, ) 
《6, 38) 
当 09<a<t 或 a=1 和 但 zf 之 oo 时 ,由 于 (6.17) 及 (6.23) 式 的 条 件 . 
. (6. 38) 式 的 右 端 当 二 co 时 趋 于 0, 因 此 了 是 最 优 的 。 
定理 .15 在 (6.17),(6. 23) 式 下 ,过 程 一 {py(2):zE N32} 
是 满足 FRI, 即 W zE LA | 
22 大 
2) max 二 (大 = 二 aytz' ) |. 实 ,) 
的 最 小 过 程 。 
证 明 出 于 yC2) 访 RCOy) (2z), 故 内 须 证 明 其 最 小 性 , 设 过 程 六 
一 个 (zizE 43) 满足 TAO) 对 zEN? ,了 取 人 =((0,) 7)E 多” 
”是 可 到 的 ,从 而 了 在 多 .* 中 最 优 ,于 是 
ptz) RD (2) . 
= XY inax BOXee 十 afz }| .2.,) 
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XV BOX Ta) 1.) 

XV B{Xa TalXe, V max BOXG rt op(y) | )) |..) 
, FE Dz} 

XV BEX Fao VY BOX et ova) | Fe F.)} 

2 





KN EC Ry ej) |F,) 《6. 39) 
mn. Lb 
由 于 0D) 字 懈 本 站 这 六 二 记 ,代入 56. 39) 则 


DC) ye Xi te Xe, [=y(z) 
从 而 Tz 
对 于 XZ) 还 有 如 下 的 移 造 性 定理 
定理 6.16 对 2E€_A.!, 定 义 
Y?(z) Co—X, 
YH (z= RD(z)) 
= XY max ECOX ay -002 | 多 


2 


2) = limY® ta) 下 
证 明 首先 用 归纳 法 证 明 {yw(a} 是 单调 不 减 的 。 事实 上 ， 
YC2) Oo X. ¥ max BX, Fax, | 小 守 YD (2z) ,如 果 很 定 了 Cz》 
Cz) , 则 
Te Max 本 (全 ar (Cz ) | 多.) 
XY Max BCX ar na D1.) 


一 YoKz) 加 
因此 极限 Y= lmY (2) a.#. 存在 , 且 
yo (2 RO) (z) 


“由 定理 6. 15 知 Ye (2) 污 y(z). 而 由 归纳 法 容易 证 明 :Y (2) Sy 
(2) ,kD ,事实 上 , 若 对 某 玉 有 了 中 C2) 志 yCz), 则 
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CD 一 区 V max BECOX oar te ) | ,) 
Es Ep 
XY max BOCK 十 eqy(2 ) | .) 
ED 
=R(y) (2) 





. 一 ?CCz) - 
所 以 C2) 寺 yz) ,从 而 p02) 二 了 人 (2) .a s. 证 毕 
注 5 本 节 结 困 均 可 直接 应 用 于 以 一 般 偏 序 集 [1 为 指标 集 的 
随机 过 程 ,只 要 这 个 偏 序 集中 满足 
i) 有 最 小 元 0; 
i Y zE ,Dtz) 是 一 个 有 限 集 ; 
刘 》 妇 是 局 部 有 限 的 , 亦 即 Y srELs<cryfasssaessr) 是 一 个 
有 限 集 。 | 
由 定理 6. 10, 当 X? 寺 0,e=1 时 ,由本 车 结果 可 以 推出 两 指标 
最 优 停 点 问题 的 有 关 结 论 。 
在 下 面 有 关 两 指标 最 优 停 点 的 命题 中 ,我 们 总 假定 条 件 成 





十 


推论 6.17 设 X=={X.,..z€E 1) 满足 (6. 17》, 则 X 的 
snell 包 Vl2) =esssupE (Xo |. FZ ,) 满 中 Bellman 方程 


TE 加. 
六 一 从。 :V Inax BCs | .) 
Eyo=Ssup {BX,.oE 2 
这 里 Xscr; 的 定义 见 (6. 15) 式 。 
推论 6.18 设 报酬 过 程 满足 (6. 17》, 则 =(2) 是 之 中 最 优 停 
点 当 且 仪 当 是 可 取 的 策略 。 这 里 了 = C0.) ,人 7) 称 为 可 取 的 是 指 
VOI)=ECOO NF Cn) 
VU) = Xe, 
推论 6. 19 设 C6.17) 成 立 , 了 ?是 最 优 策略 , 则 
FOX | = yp 
关于 Snell 包 的 性 质 ,我 们 还 有 所 谓 最 小 多 正则 性 
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定义 6.6 称 上 于 X= 二 {Xz 世态 _ 砂 是 多 正则 的 ,如果 
YE A ,TED,* ,有 
KOK, | RX, C6, 40) 
引 理 46. 20 对 每 个 YE -YA 存在 著 策 略 序列 1 一 (ot ,rE 
多 .使 得 
到 其 tr5 bt yz) 《6, 41) 
证 明 ” 易 知 存在 +E 多 ,一 1,2,… ;使 得 
六 一 sup8( Xeon |F.) 
置 条 一 路 , 设 关 已 定 多 好 , 令 
全 
十 atwt! Yipes cy hs ek ty | 3 
则 oo! 是 (多 ,) 停 点 ,上 且 m+! 守 z, 记 
A= (BCX | ) EK | F.)} 


则 
EX | BK | FY BCX | ,) 
由 定理 6.8, 存在 7"+'E€ 多 ,, 使 得 alP?+!) 二 ot“!, 邦 
ECXartt fF OPE CE | BY ECXet') |.F.,) 
由 此 易 知 


BX | .) 4 yp 
定理 6.21 设 (6.17) 满 足 , 则 XX 的 Sneti 包 ty.) 是 控制 X 的 最 
小 夕 正 则 上 堵 。 | 
证 明 由 定义 y 守 X，。a.s. 由 引 理 6.20, 存 在 下 E 多 ,4 一 1,2 
… ,使 得 BCX |]. 多 4. 由 相 条 件 ( 即 6.17) 式 以 及 序 : 寺 EXS 
二 c2 ,可 见 {2) 是 可 积 过 程 。 
AEAI, 若 uz, 由 于 存在 EE 名 ,k= 二 1;2，,… ,后 
得 也 osy1. 客 ,由 单调 收 全 定理 ,有 
Ep = mE Xe | EP 
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因此 (y) 是 上 团 , 往 证 它 的 多 正 风 性 ,如 果 存 在 2E -As xz2E 包 ， 

使 得 FCyoony | 了 F) 吉 不 as, 成 立 , 则 存在 e 守 0,4E .多 ,P(A4)> 

0, 辣 得 
{warte< | nae 

由 引 理 6. 20, 对 每 个 4= m,n) 之 z, 存 在 TE 多 ,使 得 


令 呈 一 Do 


| acx |. 罗 .) = >),. WD = i Cy 
之 之 | 一 
A totTy=u) 


匡 
一 fe 
次 j w+ 去 - 
而 w* E22 ,vw*' 守 2, 于 是 存在 T' 蕊 名 ,使 a(T* 一 v*， 
| scx cr 多 | 和 
从 而 PCBCX6ocr'y| 祈 ,) 六 y.)>0 与 3 的 定义 予 盾 。 因此 Y TE .8 
《天 or |) Ep. 
最 后 , 若 以 .) 是 另 一 控制 XxX 的 正则 上 蒜 , 则 Y TE 多 ,， 有 
py B( yr | 丈 。 ) 守 BXrnn | 人.) 
对 引 理 6€. 20 中 CPT) ,也 有 Ye eX ocrty | 多 ,所 以 Pi ,3 : 
证 毕 
定理 6. 22 设 报酬 过 程 X= {Xs,zE V4? 满足 4+ 条 
件 , 且 类 石 , 则 出 (6. 28) ,C6. 29) 式 所 定义 的 策略 是 最 优 的 。 
证 明 ”因为 这 里 只 考虑 停止 报酬 ,相当 于 在 (6. 16) 式 中 到 好 


二 0,g= 二 1; 因 此 相应 的 (6. 28) ,6. 29) 式 成 为 
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一 下 PE | B22), EC 

Jy) = Xr keer (C6, 42) 
而 由 {6. 30》 

t=inf {k: Xe = ye,} 6. 43) 
由 定理 6. ]4, 只 须 证 明 rr< ce as ,由 4+ 和 条件, 可 见 了 sup 
(8 (UT EB)} Lo0, 

考 虚 单 指标 过 程 {X , 突 w ma 人) 的 最 优 停 止 问题 。 设 5 9， 

T! 都 是 C.F ) 停 时 , 且 Te 不 Tt ,于 是 >U ‘Xo, > Xn, :由 于 这 
里 的 怀 是 类 站 的 ;因此 BX, EXy,.， 由 Rasche 方法 (定理 2. 55) 
0 {Xm ed 本 -4 存在 最 优 规 则 ro 而 由 定理 2. 23， 可 见 由 《6， 
42) 定 义 的 + 之 oo 目 是 {Xo wn€ 7} 的 最 优 停 时 ,所 以 渍 足 666. 
42) , (6. 43) 式 的 策略 下 ==C(05) ,是 最 优 策略 。 





.$6.3 Snell 包 的 三 重 极限 定理 


本 节 只 讨论 停止 报酬 过 程 的 Snel 包 , 设 羡 == {Xz 
-za+} 为 停止 报酬 过 程 , 它 的 Snell 包 
pl2)=esssup{ BCXscn | ) TE GB.) C6. 44) 
对 正 整 数 访 , 记 妈 一 {EA 0SzSCN,N)), 考 处 报酬 过 程 X* 
二 {X,, 多 ,zE2*), 息 应 的 Snell 包 
(2)—esssup 有 (Xen | FYI TE GD} 
显然 号 >* 握 有 TIC: 因 此 六 (有 委 扩 二 (的 近 … 
念 . 
Y (2) = limy" Cz) (6. 44) 
Vs (2) = limY* (C2) 《6. 45) 
其 中 让 (z) 一 sup {BXon :TE YN}, 一 个 自然 的 问题 是 yx) 二 V(x) 
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9 Vz) Vr C2) : 

定理 6. 23 设 报酬 过 程 X 一 (到 -szE 了 ) 的 负 部 一 致 可 
积 . 则 区 一 妇 CE) CE) = (2), 

证 明 由 于 多 全 名 ,所 以 yy (区 委 风 区 是 显然 的 , 另 一 方面 ， 
对 每 个 了 PE 多 ., 由 定理 6.6, 47 rp 到 雪人 ,因而 

用 (Xe | PEE an {FE 2) 

于 是 2(as 2. 从 而 ya) 一 (2) CZ) 二 V1 (2)。 

下 面 讨论 一 般 的 可 积 报酬 过 程 ,并 令 


2 一 teic 是 C.F,) 停 点 , 且 EX < 00} 


> 一 {a:7E > 日 rz} 
对 一 co 所 so<0<5s oo 令 
KC) Oo— CRV A 
XD) OX 二 oo) 
Ca) 为 相应 的 snell 和 包 。 
引 理 6. 24 车 过 程 {(,X,,zE .7 *} ,满足 
iD 存在 非 负 可 积 的 随机 变量 w, 使 
Xb blu ) ,2E AN? 
iiy P= XY max E(B, | 罗 2) 
证 >》 在 任何 可 选 增 道路 (5,》,e 地 二 " 二 tr 《这 里 NA 
U iee) FA { (00,00))) 
订 二 limsupg., 





“limsup Xo 
由 
B.S pz) 
证 明 ”由 于 当 TE 钨 时 a(?)AZ 不 一 定 是 停 点 ;所 以 证 明 的 
方法 与 单 指标 的 情况 有 所 不 同 。 只 需 证 明 Y 4€ ,有 
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| as [va) : 《6- 46) 
. 如 车 不 然 , 则 存在 e>0 及 4E 多 :使 得 | | 


[a> | te | (6. 47) 
往 证 存在 了 6E 多,, 使 得 
| re< | gCxoen | 7.,) (C6.. 48) 


从 而 与 Xz 的 定义 的 矛盾 。 为 此 ,YY xz, 念 
一 一 大 

Ha {pK BBE),))} 

时 要 一 {pK bE NF) ,p=E | )) 
其 中 = 二 # 二 (0,1) ,2 一 4 十 (1,0)， 

a—1 

有 4 一 Cp 二 二 由 人 core 
其 中 ,z 一 人? 9 一 0,1,2, ,na 一 1,2,…,t0) ,11)，… 均 属于 
-4 且 二 DE 多). 置 


yo 二 


= 2 pHi Dist od i a=, 
《6. 49) 
` 则 易 证 Co 是 可 选 增 道路 , 令 
r=—inf {tS>0 之 所 一 外 《6. 50) 
则 7 一 (ec ,DE SDB,Y BE PF.,, 可 证 
一 js | ao | 
(6.51) 
事实 上 ,由 于 在 [rm 四 上 ,x。 <A :由 (6. 49) 可 知 , 在 [ro 上 
cn+t 一 OA A 3 十 OH, aes, hp 
于 是 fw8(Cp 1 了 F 二 ovwm i ， 岂 此 容易 证 明 {po ,st 
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闻 1} 是 款 。 任 取 BE ,Nm 十 1 


| oo | hn | sw 名， 雪 方 a 


令 No0, 由 Fateu 引 理 


| BS | 
点 站 KT 党 本 》 dd SN tremy 
从 而 在 (7 宕 m) 上 
E(B | Fp. (6. 52) 


特别 取 m==0,8E.F,, 有 
—co< | xs 12 


< | Be 二 | B 
再 站 【re 下 BNir=o0) ~ 


| Bet fi 
从 而 (6. 51) 式 得 证 ,由 此 可 知 P(r=o0,X。 一 一 00) 二 0, 而 由 XX。、 
二 及 工 的 定义 Bf 一 ce 六 一 co) 一 0 于 是 Pr 一 ceo) 一 0. 因 
为 ef) 一 co, 当 且 仅 当 *= 一 ce , 故 Pa 一 cc) 一 0 这 样 7E 纪 
对 任意 的 4E 多 .由 于 mr 一 c(7) 
| as | pms | xm 
于 是 ,由 6. 47) 式 
| 2< {8.-es | xm 
这 与 X2) 的 定义 矛盾 ,因此 &<z(z)?。 证 毕 。 
现在 讨论 关 ( 的 各 近 * 的 问题 。 
引 理 6. 25 设 全 条 件 满足 , 则 lim ys(a) 二 p62). 
证 明 邻 y* 三 lim yla), 显 然 yyy). 由 yo) 一 XCa)V 
,max BCy (a) | 他 ,) 及 条 件 期 诅 的 单调 收 伐 定 理 可 得 
入 =XY max BCy..* [|Z.) 
记 XxX。 Ca) — Jim X.(a) ,ye (的 一 lmyxke, 则 
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pn Ca) EX. Ca) CB. 53) 
对 0 过 "sz ,有 
ya ECsupX,. 0) |. ,) (6. 54) 


记 $=supXu(a) ,一 B817) ,在 4+ 条件 下 ,B11<<lal VB 


sup _X+ 之 o0. 由 引 理 6.5 之 人, 下 (5 D>E(GS| V 多 一 


GE ， 2 


supX, (a). 注意 到 上 述 收 敏 是 -4+? 中 网 收敛 ,因此 存在 子 网 六 使 


得 
lim 有 (CE| 到 一 supX(ay a.s. 《6. 55) 
[EH ne 


oo ,所 


由 C6.45) 式 及 (6.55) 式 
pm (a) SsupX, C0) 自己 
再 令 re ,出 po (0 和 六 (0) ,从 而 fo) 一 Xe .于 是 ,J 和 守 ye 
(二 Xo (9) ye ta 一 一 00) ,而 由 入 * 裕 关 , 刚 得 所 之 世 所 以 城 
一 X-. 注意 到 对 任何 可 选 增 道路 (Co.),e 地 ,从 ,= 二 全 二 Xw, 由 引 理 6. 
24, 则 对 一 切 zE -全 ,下 委 12 ,这样 兴 三 y(tz)。 证 毕 。 
引 理 3.26 设 4+ 条 件 满足 , 则 对 每 个 zE A?,y(z)= 二 ytz), 其 
中 
plz) =esssuph (XC) | .FTE 号.) 
瑟 = {P=((0.).e7,, 帮 为 策略 ,r 取 十 oo,00 二 z 昌 Beeo1 
证 明 定理 6.2 可 以 推 广 到 在 -7;? 取 值 的 停 点 的 情形 ,此 时 
所 得 的 策略 ?= ((c)e 地 ,本 中 的 可 取 十 cc 的 值 ,如 同 定 理 6 
12 可 证 关于 7(z) 的 Bellman 方程 ,于 是 


pa) X,Y max 下 (fo ) | Y C6é. 55) 
2 Ens) 
往 证 对 任何 策略 ?一 (0.).e 地 ,在 ., 有 
. pit ) = Xo C6., 56) 


囊 实 上 ,由 FC) 主 Xj, 肝 此 PC0m) = po A mi (2) > iin x. = X.— 


* 


Xs* 男 一 方面 ,由 
XV) ESBSupX | vs 

以 及 4 信条 件 , 根 据 引 理 6.5, 对 趋 于 (co ,oo) 的 网 存在 着 子 网 ,使 
.得 B (sup»X: | supXe a s. 再 令 afeoeoj 出 六 < 委 X, 所 
以 C6.56) 成 立 

、 引 理 6, 24 及 (6. 55), (6, 56) 式 ,Jazz 所 以 Ba) =y 
(2)。 证 毕 。 

“3 6. 27 Un 一 (证 明 请 读者 补足 ) 

由 引 理 6. 25,6. 26 及 6. 27 可 得 snell 包 的 三 重 极限 定理 

定理 6. 28 ”对 每 个 zxE 1, 有 


y(tz) =1im lim limy tn,b) {6, 57) 
VCz)=1im lim limV3 (ta,b) 《6.58) 
证 明 由 读者 补足 。 


8 6.4 随机 化 策略 与 BC 拓扑 


为 了 讨论 连续 时 间 过 程 的 最 优 停 止 问 题 ,我 们 萤 在 3 4. 7 中 
引入 了 BC 拓扑 ,为 此 先 将 概率 空间 扩大 为 (X[0,1], 安 X 璃 ,P 
义 罗 ,引进 随机 化 个 时 TCw,，)。 对 每 个 随机 化 停 时 了 TET, 对 应 的 
名 分 布 为 4C@,[0; 科 ) 二 C9:TCw ;四 过 由, 它 与 是 一 一 对 应 的 。 因 
为 对 固定 的 w,4(o,，) 是 腕 .上 的 概率 测度 ,而 对 于 每 一 个 固定 
的 ?EE 溉 ; | 

AAACm, [OH]) 
是 字 ， 可 测 的 ， 因此 4 是 一 个 适应 的 增 过 程 ， 对 于 每 个 适应 增 过 程 


14FE 腕 | 对 应 着 (8X 静 . ,多 勾玉 ( 肌 -) 上 的 概率 测度 
+ 335 。 


CH) BC | (ss dA) HE FX ) 
在 一 一 对 应 的 意义 上 ,我 们 自然 可 将 了， 4 与 wm 三 者 等 同 起 来 ,都 
称 为 随机 化 停 时 。 

现在 讨论 两 参数 随 视 过 程 的 问题 ,定理 6.8 表 肯 每 一 个 停 点 
都 可 用 一 条 可 选 增 道路 来 描述 ,所 以 随机 化 停 点 实质 上 就 是 随机 
, 化 可 选 增 道路 , 增 道 路 无 非 是 一 个 单 参数 的 停 点 族 {04,1 汪 0) ,我 们 
可 以 方便 地 选取 | 天 | 们 所 的 两 个 分 量 之 和 为 参数 ,所 以 我 们 只 要 
对 (raseito| 一 四 进行 随机 化 。 对 总 的 随机 化 ,就 意味 着 在 固定 
的 1 十 s 二 4 的 直线 上 上 ,给 出 io，) 一 个 分 布 ,或 者 说 对 应 着 一 个 
增进 程 4.C。), 基 于 这 样 的 观点 ,我 们 引入 下 面 的 正式 定义 。 

设 59, ,六 是 完备 的 概率 空间 ,更 为 二 进 制 有 理 数 集 ,! 表 . 
示 -1 或 | 表示 -大 或 鹃 .对 z={s,1)€ 玉 4 ; 记 

R=[0,s] Xx[0,] 
对 每 个 a€J, 记 . 

六 ,一 1ZET1 zl 一 o) 
这 里 |z[ 表 示 关 的 两 个 分 量 之 和 。 

设 (F 5/),(F?,tE J 是 两 个 单 参数 的 递增 0 代数 旋 ; 邻 
并 设 . 实 wwow 包 舍 一 切 替 概 集 。 

定 尽 6.7 一 条 随机 化 道路 是 指 必 X98, 党 (1) x.) 上 的 概率 
测度 族 "一 {jw:4EJ}, 它 满足: 当 4 关 e 时 ,加 w 的 支撑 含 于 ;和 八 , X 员 ，; 
当 4 二 oo 时 ,的 支撑 含 于 {Coc ,cco}} X88, 且 对 任意 的 FE. 

HA XR)=PF) 
记 放 = {0000) ;0syutt=q}, 令 
FI tl XP) 
则 名 (本 过 POP 及 而 伙 及 2, 因此 存在 唯一 的 单 参 数 的 右 连 续 可 
测 增 过 程 {d(s) 0 二 ss 使 W 下 E 末 (人 X 史 ,有 


KCH)E— EC | (si JdA.{s)) (C6, 59) 
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( 见 [316.15) 寺 是 ,对 任意 的 Ae 义 日 上 正 的 有 界 可 测 过 程 xX 
OA |xau 一 如 | dd(9) 《6.60) 
事实 上 ,对 于 任意 的 z= 二 人 让 EDFE ,X=li, x 
X= XP)=EC | Cs, » JdACs)) 


这 里 中 一 (六 . 门 有 7XP, 因 为 - 
六 -局 ={( Du t=4—8})， | 地 


BE | C5, » JdAuls) 
故 对 于 简单 消 数 XO xr lz), 有 
OBC | Xe dD) 
对 正 的 有 界 可 测 过 程 X, 可 用 画 (A。 x ”六 的 简 弟 过 程 来 源 
这 。 

注 6 由 上 所 知 , 对 于 一 条 随机 北道 路 ?= {4:4aEJ} ,对 应 着 
增 过 程 族 {4.03) :0 扫 s< 委 ac ,满足 (4 59) 式 ;反之 ,给 定 一 增 过 
程 族 14 (0s350 委 s 委 avaEvy), 则 按 (4. 59) 式 定义 概率 测度 p, 则 
{myaE 是 一 条 随机 化 道路 。 

定 光 6.8 如 果 取 俯 于 [0， 1J 上 的 增 过程 族 {4s》， 0<Lssa,e 


外 也) 满足 条 件 . 
iD 4:(0) =0,4.(9)=1 (6. 61) 
i 4(s) (0<Ss<a<eo) 是 多， 可 测 的 (6. 62) 


过》 对 于 任意 的 sE seco 4 机 (9) 宇和 (3) 机 (4 一 3) 过 
(5 一 5), 且 4A.{8) 关 于 4a 左 连 续 ; 关 于 s 右 连续 ,a. s. 《6. 63) 
则 称 由 {4.(8) ;0sq< 芝 oo0} 所 确定 的 1X8 上 的 概率 族 + 一 {ja 
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和 J 为 一 条 随机 化 的 可 选 增 道 路 
引 理 6, 29 可 选 增 道 路 的 全 体 与 几乎 处 处 到 值 为 0 和 或 1 的 
{4.08) 0<sssa<ceo} 所 确定 的 随机 化 可 选 增 道路 全 体 是 1 一 1 对 
应 的 。 
证 明 设 {Uya€ J 是 可 选 增 道路 ,对 每 个 a€7 ,14| 一 a, 令 
A =I] Osa,d€Ed 
. 由 于 {Ca 一 Tea 一 SN 一 (ay0)) fs fs aa) Ee 
Fan {adm EE ons {t= (a, 0 E Fo.0C 
wo 政和 4(5) 是 名 4-» 可 测 的 。 往 证 当 ab 时 ,4(e 一 人 和 册 
G 一 已, 为 此 只 需 证 明 
{Cnt1)} C6. 64) 
Ee 分 别 为 st 的 第 一 谷 标 , 则 
ti Batibo— ti, 
下 习 1a 出 PS 一 (一 ss 一 上 《6.61) 式 得 证 ， 而 当 Aah 
时 , {U8 之 (人) 披 机 (5) (5), 
对 于 任意 从,X 名 上 非 负 的 有 界 可 测 过 程 X= (2X;) 
nA) A [x = Xen Cs) = Ba, 
因此 {m,n€E J 是 随机 化 可 选 增 道 路 。 
反之 , 设 {&,a€ J 是 随机 化 可 选 增 道路 , 它 所 对 应 的 {4.Cs) ;0 
-sse} 几 平 处 处 取 值 为 0 或 1, 固定 aEDaDUt{oo}, 因 4.(s) 依 s 
右 连 续 且 是 增 的 , 作 映射 已 :8 有 静 : 划 下 
Tefo2 一 (0 一 总 ) 
其 中 世 二 inf{fs 守 0;4(5) 二 1 则 大 是 停 点 , 且 当 0 委 4 二 coco ,4 全 
D5ED 时 ,0 Ws| =«. 事实 上 ,对 = 一 (es 竹 殉 He 扫 (Cs， 
a)})= {A =1} ,= {4 一 站 =0} ,于 是 
{Uo {NN at) )} 
={4.(s)=1) Nid) =0} 
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(这 里 (a 一 站 -表示 村 极限 } 当 s+ ta 于, {A408) 一 1} 门 {4, (0 一 
7 ?EE Foy sia {A =1N (am) =0E 
Fe yn j) 和 让 知 凡是 


澡 4 和 一 四 


停 点 。 

由 可 的 定义 及 A.(8) 才 44(8) 可 知 二 六 记 .而 4 一 丰 二 inf1s 字 0; 
a 一 s)= 二 0), 且 4.4 一 上 ) 帮 405 一 s). 因此 由 本 外 一 s- 一 0, 故 a 一 
zs 一 此 , 从而 UAV， 
显然 | | 二 a. 

对 于 4E 流 2, 令 i,(0) —limt, 《al ,由 (和 :) 的 右 连 续 性 ,5 是 





停 点 , 旦 YW 0,5E 议 1 ,0SEb 有 人 入. 由 于 
{4.(5)—=1} 
NM {4, Cs})=1} 


Team 
= NM {0 At(s,a)} 
EEN  “ 


一 人 Cs)} 





{Ui C80)} 
= 站 {和 (Cs,0)} 


[aNp 


oe fn (oC— Cas})=1} 


CC Ns))=1! 


a ED.eIND 
{A (s) =1) 

可 知 ,4.(3) 一 Jto<o.w1. 于 是 人 Ui,a€ J 是 可 选 增 道路 , 且 对 任意 的 
非 负 可 测 过 程 X,p.CX)= BX 
综 上 所 述 , 引 理 得 以 证 明 。 

下 面 来 讨论 策略 的 随机 化 ,因为 策略 是 可 选 增 道路 (0) 与 

(入 0c) 停 时 + 的 二 元 对 了 二 (C00) ,7) ,所 以 对 策略 的 随机 化 ,就 要 

将 (Uo 随机 化 为 随机 化 可 选 增 道路 ,而 和 且 要 将 + 进行 随机 化 .四 
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站 


此 随机 策略 对 应 为 了 X7X 中 上 的 概率 族 。 

定 尽 6.9 证 40={4.,oE 几 是 /Xix8 上 的 概率 谈 , 使 得 每 个 
在 1X 上 的 投影 是 一 条 随机 化 的 可 选 增 道路 , 即 

WR XRXF)=mR xXF), (FE.F) 

是 支撑 在 人.x 只 上 的 概率 测度 , 且 所 对 应 的 增 过 程 族 {4.(s) :0<s 
过 avaEJ} 满 足 (6.61),(6.62),(6.63) 式 ,而 每 个 在 JXQ 上 的 
投影 是 与 a 无关 的 JX 上 的 概率 测度 z, 要 所 对 应 的 增 过 程 为 
{Bs,bE J ,满足 


i) 5 一 0, 有 一 1 《6. 65) 
i Y Ca DE z= CHD EL ,La sa |2|Ba 
遍 C4C8) 一 Ca 一 卸 ) 是 .Fs 可 测 的 《6. 66) 


则 称 5= fw.5€€J) 为 随机 化 策略 。 
也 可 以 说 随机 化 策略 就 是 二 元 对 (4,8), 其 中 4 满足 (6. 
61) 一 {6. 63) 式 ,8B 满足 (6.65),(6.66) 式 。 
记号 为 策略 全 体 , 旭 为 随机 策略 全 条 ,5 为 随机 化 可 选 增 道 
路 全 体 。 
引 理 6.30 多 与 14(o ,0 和 sedEJ},{ 记 ,bE 几乎 处 处 
取 值 为 0 或 1 的 随机 化 策略 全 体 是 一 一 对 应 的 。 
证 明 设 T=(Cto)essT) 亿 局 , 令 
(ts) =is co. 
Be = {ri) . 
vt Da] XR, XFS= 上 | Bf ds) — A am) Jdp 
由 加 产生 的 .JX7X 怠 上 的 概率 测度 仍 记 为 ww* 易 知 m 在 :X 吕 上 
的 投影 
vt XR KF) 
=E[iCA (Ss) — A (oo) ~] 
= (RXF) 
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-为 随机 化 可 选 增 道路 ,加 在 .X 品 上 的 投影 
v0,5] XR XFS= | Bap=r(L0,5IXF) 


是 了 X 台 上 与 5 无关 的 轿 率 测度 ,显然 4.(5),0<saa€E J ,B,DE 
J 几乎 处 处 为 0 或 1 因为 49) 一 4 一 上 ==firzo] 是 实 ws 可 
测 的 , 妨 = laan 是 2, 可 测 的 , 故 对 5R&a ta 一 (5,0),|z| 这 a 
TED) NN C= (TED mE) NN ER 
所 以 [L445 一 和 (a 一 站 是 多 可 测 的 ,从 而 0= ta 是 一 
个 随机 化 策略 。 . 
友之, 设 8 一 ,0 站} 是 随机 化 策略 ,其 相应 的 Ats), 访 (s) 几 
平 处 处 取 值 0 或 1, 令 
r=ihf {BE J :B=1} 
则 对 任意 (EJ,zE 吏 .?: ,z= 二 {s, 了 ,有 
(rs 站 (ora 
=(B=D N=DN CD = 
=—{B ds) —Ad Caf) =1)E.S, 
于 是 rf 虹 (CF,) wo 停 时 ,oe ,人 EZ. 证 毕 。 
我 们 在 5 上 引入 8 一 C 拓扑 ?了 如 下 : 它 使 得 对 Y esE yisEv 门 
[90a,FEL Dm ,PP) 
PT EAS) 
为 连续 的 最 粗 朱 扑 。 
在 龟 上 也 引入 5 一 C 拓扑 了 如 下 : 它 使 得 对 每 个 a€E 18EJ,s 
EJNTO) YE LD, ,PY, 
BY Ata) 
1 
为 连续 的 最 粗 拓扑 。 本 
定理 6.31 5 与 名 在 BC 拓扑 下 是 紧 的 ,如 果 .多 是 可 数 生 
成 的 , 则 95,8 都 是 可 度量 化 的 ,因而 蚌 列 紧 的 。 
* 341 。 





证 明 本 定理 的 关键 是 要 证 明 ,8 能 作为 一 个 紧 子 集 嵌入 一 
个 乘积 空间 之 中 ,为 此 对 固定 的 4= {4.(s) :0 委 s 生 aaE 门 ES 
考虑 有 映射 族 避 .;: (C8) 一 名 如 下 
cal) BY A (CS) 
于 是 &., 是 天 C8) 上 的 有 界线 性 函 ,满足 


DD eo)—0. oI)=E | (6. 67) 
.) 当 Y 字 0 时 ar(7) 关 于 5s 不 减 ,关于 a 不 增 。 (6. 68) 
十》 asf 站 关于 = 左 连续 ,关于 s 右 连续 (6, 69) 
iv) os 直人 | 一 后 (C6. 70) 


记 4 为 满足 (6. 67) 一 (6. 70) 式 的 映射 族 。 
引 理 6.32 4 与 5 之 间 存 在 一 一 对 应 , 且 252 的 ， BC 祈 扑 同 
枸 于 4 上 的 弱 * 拓扑 。 | 
证 明 ”由 定义 6.8 之 人 (6. 61) 一 (6.63) 式 , 易 知 A 满足 (6. 67) 
一 6.70) 式 。 上 友之 ,如 有 族 4 满足 (5.67)~(6.70) 式 , 往 证 必 有 一 
族 相 应 的 14.C5)} 福 足 (6. 61) 一 (6. 63) 式 , 先 考虑 a. s. 均 为 有 理 
数 , 由 汉 函 表示 定理 ,对 每 个 @,E (CLCR))! ,存在 (C8) EL”(D)， 
司 得 ¥Y 了 EL (2) 
tr) BY A ts) 
往 证 ;4s)j) 即 为 所 求 。 首 先 4.(s) 有 一 个 字 6 可 测 的 修 
正 ,; 从 而 不 妨 取 4(s) 就 是 要 的 修正 。 事 实 上 , 设 
0 一 {A BA | oo》 
如 PCG) >0, 则 
BleA ts) > BloB(A 8) | 6 12) . 
=E{IELIoB(A Cs) 二 一 ;7 1 多。 )} 
=E{E(A(S) | 二 DE | Fs))} 
| =E[A Cs) Be).F 0 )] 
- =0(B Uo|F en)] 
— oC lo) = Bad Cs) 
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政 盾 ,所 以 PCG) 二 0。 类似 直 可 证 POCA(s)<B(4 (Cs) | ,a 一 5)) 
二 0, 这 表明 4 (sa.s 是 多 -可 测 的 。 用 周 样 的 手法 可 证 明 4 
Cs) 关于 = ts. 右 连续 ,关于 a a.s. 左 连续 等 。 
对 于 一 般 的 a. s. , 则 定义 
8) =sup inf {4,0 :b>aqa,t>s ,90,t 为 有 理 数 } 
可 以 证 明 4.(5) 满 足 (6. 61)~(6,63) 式 且 a.s. 唯一 ,。 同 此 A 与 
之 间 是 一 一 对 应 的 ,根据 能 * 拓扑 的 定义 可 知 BC 拓扑 同 构 于 4 
上 的 纶 x* 拓扑。 | 
定理 6. 31 的 证 明 : 我 们 知道 在 圭 * 拓扑 空间 中 有 界 闭 球 是 紧 
的 ,我们 只 要 证 明 A4CCLC8))’ 是 有 界 闭 球 ,首先 Y ays 
[a YA) | 
是 有 界 的 , 往 证 4 是 闭 欧 ,如 { 吃 ;#ED} 是 4 中 的 一 个 网 , 且 依 玫 
拓扑 路 侣 于 (em.) 2&0o, 容 易 直 接 验 证 a 二 C6.) 满足 人 6. 67) 一 (86， 
?0) 式 ,这 表明 4 是 闭 的 ,因此 4 是 紧 的 , 即 (57,T) 紧 空间 。 
当 .3 是 可 数 生 成 时 ,人 8)? 是 可 分 的 ,又 0, 美 于 a(s) 是 左 


( 右 ) 连 续 的 ,因此 每 个 a..,(Y) 的 值 可 由 可 数 多 个 形 如 之 4mfo, kr 为 
有 有理数, 二 of6,,6;,…))) 以 及 有 理 数 sysEv 的 全 体 所 唯一 确 
定 , 从 而 4 可 幅 入 到 一 个 可 数 维 腾 积 空 间 之 中 , 同 此 是 可 庶 量 化 
的 ,所 以 462, 们 是 列 紧 的 ， 

关于 驴 的 紧 性 是 类 似 的 ,定理 证 毕 。 

对 每 个 6 一 faE J}E SS, 存在 唯一 的 4ES7 ,8 一 玉 :5E 几 与 
之 相对 应 ,使 , 

nLOB KARXF)I=EB( AC) — Aa—i)-) 
所 以 我 们 可 记 8 一 (4,8); 对 给 定 的 89€8, 记 

AD—{AES ABIESQ} 
二 {8 一 (BE J) 为 增 讨 程 ,(4,B)E@} 
引 理 6.33 7 是 凸 的 , 且 对 于 任意 的 9ES,5709) ,BC9) 也 是 
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西 集 。 

证 明 设 ',7?,E59, 相 应 的 增 过 程 族 分 别 为 (41(3), 0s 
qd 与 [和 (9) 03s 生 aeEJy), 设 0 过 aa 委 ]， 则 当 0< 生 asS5<oo 
时 ,有 
mdfs) 十 人 一 os 下) 十 1 一 人 fs 

adCa—d FC aA Daada mi) oA) 
因此 cx4 十 (一 四 三 满足 56. 62) .同样 可 证 明 它 满足 (6. 61} 及 (6. 
63) 式 ,可 见 对 应 的 PTE57, 西 性 得 证 。 2000) ,Bt 办 的 同性 也 容易 证 
得 ， 

定理 6.34 1) 可 选 增 道路 全 体 与 5 的 端点 集 1 一 1 对 应 ; 
2) ”国定 9E9,8=(4,8), 其 中 8 二 (CB,bE) 是 几乎 处 姓 取 0 
.或 1 的 增 过 程 , 则 C9) 中 可 选 增 道路 与 9°09) 的 端点 一 一 对 应 ， 
从 而 509) x {8} 中 策略 与 S220) X {8} 的 端点 1 一 1 对 应 ; 
3) 固定 8€E9,8( 内 的 端点 与 8 外 中 几乎 处 处 取 值 为 0 或 1 
的 增 过 程 1 一 1 对 应 。 

证 明 对 1== 需 ,*:J/ 二 过 :证 明定 理 。 

(1) 由 引 理 6. 29,6. 30, 每 一 条 可 选 增 道 路 与 一 个 取 慎 (a. s) 
为 0 或 1 的 增 过 程 族 {4(s) :0 所 ssaaEy) 一 一 对 应 , 它 所 确定 的 
随机 化 可 选 增 道路 全 显然 是 的 端点 . 往 证 相反 ,只 需 证 明 : 对 于 
满足 (6. 61) ~-(6. 63) 式 的 增 过 程 族 {4.(5) ,0ss<eeE 站 , 若 存 在 
aaE JsE[0:m],pE 多 ,PE 六 0 使 得 0<4 (so) < 10E RF), 则 
{C5) :0<Ss<SetaE 沾 所 对 应 的 ? 不 是 2 的 端点 。 

由 定义 6.7, 当 4 二 oo 时 ,对 一 切 5 之 05,4Aw(8) 二 0,4% (co) 一 
1; 由 4.(s) 关 s 的 右 达 续 性 , 故 可 设 上 述 oo€ 名 (二 进 制 有 理 数 
集 } ,soEL0,.a0j 门 DD 取 0<%<!, 令 


入 3) 一 个 A1,A2(5) 一 iyo0 


易 基 4.C5) 一 (5) 十 (1 一 入 有 (8)。 只 需 证 明 由 (4 C8) ,OC sea ,a 
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后 .和 (14(s ,0 坟 s 坟 qo 忆 J} 所 确定 的 ?71,75 是 两 条 不 同 的 随机 
化 增 道路 。 . 
事实 上 ,容易 证 明 如 (Cs),42(s) 部 是 递增 的 ,关于 s 右 连续 且 
0, -可 测 的 ,出 函数 了 | > 二 二 下 “TV 0 的 递增 性 ,可 见 当 0 
Sa<sb<oo 时 ， 不 (s) 滨 避 (s)， 二 (Ca 一 站 各 态 (3 一 和 ,i 二 1,2, 固 此,， 


A C03 0) 
T2957. 因为 当 @EF 时 .04 (860) 之 1, 豆 一 一 一 人 1 关 





A CBr DO 
TY 0, 羡 即 在 ff 上 有 4 B00) so), 从 而 7 > 


) 只 需 证 明 :对 于 随机 化 可 选 增 道 路 了 一 {4.(s) .0<s<axE 
J ， Eee 加 和 5 后 10ao],FE, 多 Pr0, 使 当 
EF 时 ,0<4 C30,@) 之 1, 则 了 是 57(9) 中 元 素 的 严格 凸 组 会 且 (4， 
动 也 是 soC8)X fj 中 元 素 的 严格 凸 组 合 。 
固定 0<<x<1, 取 
A AL AD 一 全 V0 
出 4 ,玉生 2, 旦 网 天 王 , 往 证 (出 ,有 后 四 一 1 2， 
当 sta ,ba 时 
BLAl(s)—Ai(a—t) 1 


=BL CE Al) (ee A1)] 





1 
一 is [A ls) — A, ta—t)] 


1 。 
十 eddra> 0 一 


一 Tlie BLA Cs)—A Ca—t)] : 


1 
十 元 《六 一 4 人 一 区 Diate -JN 


因为 .C5) 是 多 we 可 测 的 ,从 而 Fw 可 测 , 同 样 da 一 意 也 ,是 
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多 0 可 测 , 而 可 [ds 一 4(a 一 站] 是 . 字 6; 可 测 的 ,因此 不 L4ig6s) 
一 凡 (a 一 轨 ] 是 多 co 可 测 。 周 理 可 证 应 -4(97 一 天 (一 六 是 多 co 
可 测 ;因而 (4 8B)E9,i=1,2. 

最 见 4' 关 地, 且 (8s) 二 (8) 十 (1 一 窟 A2(8)。 

3) 愉 需 和 证明; 如 困 B= 二 { 访 ,5EEJ) {4,8) EB, 若 存 在 hED,0 


一 < 六 ,使 PZB 1 一 各 >0, 则 上 8 是 有 的 中 元 素 的 严格 凸 组 





加 
上 与 = 


记 有 = {4<Bs 之 1 一 科 , 令 


下 一 笃 A1 

A 

下 一 - 太 
3 一 
V0 


则 名 一 2 大 十 (1 一 分 良 , 且 在 上, 蝶 , 关 成 , 往 证 BEB(0) ,i 二 1,2， 
当 3 十 EapDSSe 时 
BLA (Cs) —A(a—i)] 
= {BAS) Ae—t) TAAAC)— A 


故 列 [L4.(s) 一 4ka 一 六 ] 是 多 可 测 的 , 同 理 碟 [4s(s) 一 A,(a 一 上] 
也 是 多 必 可 测 的 ,于 是 BE B00) ,i 一 1],2, 定 理 证 毕 。 





8 6.5 两 参数 过 程 最 优 停 点 的 存在 性 


对 于 了 二 (Coa ,TE 久 ,定义 
RXz— EX . 《6. 71) 
相应 于 了 的 随机 化 策略 , 仍 记 为 了 ;AC8) 一 fo ew 二 [ver 
设 [一 -fy 一 -由 (6.71) 式 , 则 


oo a 


Br 一 2 ZI BXe fantsceee ol C6. 72) 
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记 
BLAsls)—Ato—t)" 1 3 十 Ce 
0 ， ， 8 十 Fa 
Dnsz)—C{ nn zs 一 在 (一直 和 2 
Dt—o0,2)=0 


Dloos (00100)) =1— 和 2 na) 


Cbsa + 一 


WW Dinsz) =[LBCn) — Bi 1 [4 一 不 Ca 一 了 -其 中 zz 一 人 m， 

7?) ,于 是 . 

RXr Dy BXDCn,2) (8. 73) 
a | 


因此 ,对 于 随机 化 策略 8 一 (4,B)EB, 自 然 有 
定义 6. 10 ”如果 {X..zE 了 7.?) 是 非 负 过 程 ,或 者 >> >， 


EE 
EC| XD, 2 ) oo ,My 


BX,= 之 DD) ECXD ,2)) 


ln 


= 2 Fp BB Yam A 1)} 


NE le] 
(6, 74) 
为 了 对 1= 硫 |: ,J 二 过 | 的 情况 定义 Ex, 我们 先 考 虑 4 与 EX。 
的 积分 表示 。 | 
Choquet 定理 设 人 3 是 实 的 局 部 凸 的 准 赋 范 空间 ,天 是 3 的 紧 
西子 集 , 刚 对 每 个 zoE 久 ,存在 支撑 在 下 的 端点 集 ext 无 上 的 Borel 
概率 测度 ,使 得 对 于 任意 有 界线 性 汉 闻 了 
了 (zo) = [sa “证明 见 L60j]) 
设 0 一 (4 本 所 四 , 记 ext B( 拉 为 {4}X B80) 的 端点 第,ext 5 708) 
为 S5040) X 18; 的 端点 集 。 由 定理 6. 31 知 , {4}XX8(9) 是 可 度 呈 化 
的 紧 凸 集 (8 的 闭 子 集 )。 由 Choquet 定理 ,存在 {4} Xx BC(9) 上 Boret 


概率 测度 jw 使 得 jwtext8(0)) 二 1, 且 
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be | ,CAB dm As Pr ) 
而 5209) X18 } 也 是 可 度量 化 的 紧 凹 集 ,8 门 站 (的 X18'1 同 构 于 芽 
OX 1B 的 端点 集 , 故 存在 (9) X18'} 上 的 Borel 概率 测度 
ffea.w; ,使 得 

Hen (extC SO) x {8 =1 


(4,B ) 一 | C4! ,Br dese CA ,Br' ) 
SE LH 


共 而 对 于 双 线 性 的 连续 泛 函 


FCH HL > LA 
ez 


有 . 
fF(0) = | | | FT dU ss C0 Y yd As By 
" cult | 


全 | FOP Cut YT) | C6. 75) 
引 理 6. 35 设 {X,z€ 小: 是非 负 过 程 或 者 是 可 积 的 ， 
邑 忆 BNK MD) oo A DEY, ps (A ) 分 别 是 


由 Choquet 定理 所 确定 的 ext8( 拉 和 儿 门 (0) X 1{B'}) 上 的 概率 测 

度 , 则 . 

| EX,= | | EX Grey du ) 

证 明 考 虚线 性 汉 函 mp:@-=8 它 对 于 0 一 (7 5) E 人 of9) 一 
一 2 DBX + Dr,z)) 


aE ra 
对 于 固定 的 asE .入 ,Ez 二 (www 一 ); 肌 射 
PR pH 
—E(XF Den.2)) 
=BR{Xt CB— BACGn)— Am 1) 1} 
易 知 四 是 允 线 性 的 ,由 于 8 二 < 于 co ,斯 以 对 于 任意 的 9 一 (7,8)E 
加 
(9.00) | = | EX DCn ,2)) 
,S48 。 | | 


BX BB A mo Am—o 1) | 
oo 
从 而 % 是 双 线 性 连续 话 函 。 因 此 
BX Dn z) 


= (0) 


一 | { | pT,s CT } dnt A,B' ) 
cxlbiey NT HB +) 


= | 1 [ BX+ Leant day) CP) ydpe( 4s B’ ) 
xr LOY ENTE) 


Ext= » 之 BX,+ Dn,Z) 


RE =| 一 


= | { | . BXE Ha CIT) } dm CA, B' ) 
cut Bimy BN x Ih 1 


[gx#acpi oy 

因为 8X7 二 BX# 一 BXF,， 当 {XzE |) 为 正 时 ;BX 一 BXrt, 当 

2 EC|X | Da))<co 时 ,有 2 ECXT DR 2)) oo, 从 
习 刁 .Tz| = 


AEs| = 


而 BXr do 人) 二 ce 人 3 CO—pwy 所 以 ,对 .8p 


A x {1 
的 守 , EX 之 coo gs 一 Hoe ,这 样 EXr 一 EXH 一 BXF 有 定义 , 故 
BXs— | BOX per) 证 毕 
现在 来 讨论 用 取信 于 2 (二 进 制 有 理 数 集 ) 的 停 点 来 盘 近 在 
元 + 中 取 值 停 点 的 问题 。 
设 ,= 家 :一 及 ,给 定 7T 一 ((q ,iE J),7)E 名 , 今 
ACRIA = {0 2 "CF— 1) 2 ,20 } 
其 中 : : 
《oz 表示 02-" 的 第 一 坐标 ， 2<ish2 > 
ACns ks 1) = {os2 "ko—1) rE (0p) is 
Kay 1 一 《osr<S2-"} 
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ACtn, oo) = {fA} 


na 上 
7[ 由 二 >) D277 ,G41 2 in + (00 so0) Te) 
#= | 41 
显然 ,下 zj 是 一 个 停 点 ; 且 
-PLn] 


limTT |=0, 


mak 


ll 
Br 一 2 2 BOKdistey a + BX late 


la2" = ttt 1 


当 9ER,0= CT, 人 9 对 应 的 增 过 程 族 为 {4.(3)， De E J) 
二 (B,DEJ), 邻 

Gs) = He Bo ve CA C2 A C1)2-)] 

DahLR * 2- 

dnsks 1) = Be — Be v2 do (2-*) 

dns1,1) =B 

Sn;00) 一 1 一 - 晤 

定义 


Xa 二 2 之 1 Xe pe 6k,d) Xess6 Cn oo) 
Lt 1 


《86. 76). 
则 


BXow= 2 27 | Xe Crs ks aa eA) 
lk it 号 


ot | Be Ce, oo) acal el?) 
其 中 辣 是 和 将 工作 为 随机 化 策略 而 得 到 的 。 
开 果 [到 rsE 由 是 右 连 续 类 (四 过 程 { 辑 和) ee 为 
一 至 可 积 族 ,其 中 子 为 停 点 的 全 体 ) :8E@ 则 由 引 理 6. 35 
&xXi 一 | BXcad aD?) 《6. 77) 


引 理 6.36 设 {1X:, 多 zzE1 为 右 连 续 类 (四 过 程 8E 8 ,jw， 
» 33D 。 


ing; 分 别 是 由 choqust 定理 确定 的 ext8( 从 和 2 门 (CX {8B'}) 
上 的 概率 测度 , 则 极限 lim#Xww 存 在 , 且 
lim #X,= [gxnacupaT) 

证 明 ”上 测 于 fim 人?[x]j]= 且 fx] 单调 下 降 , 以 及 {XX,zEN11 的 
右 连 续 性 和 lim BXrt.j 一 Xr 由 于 {X,,zE€ 由} 是 类 CD) 过 程 ,由 Fatou 
引 理 向 

lim EXr., = BX 
又 由 sup 加 fr 1 和 多 } 二 co 根据 和 控制 收敛 定 理 , im Xor:: 一 
| limBXrad pdf) (FY) 一 | sxracpacr), 证 毕 。 


由 上 述 引 理 , 我 们 自然 定义 
BXo— Jim BX 
下 面 的 定理 表明 ， .随机 化 策略 的 引入 不 改变 最 优 修 目 同 题 的 
值 。 
定理 6.37 设 让 {Xz 中 满足 sup{B|Xr| ,TE 多 ) 
所 co 或 者 说 (4 多 szE 腕 :是 右 连 续 类 (0) 过 程 , 则 
rr—sup{lBXr 四 后 DI=sup{ EX ,EO} 
如 果 上 式 一 器 能 达到 , 则 另 一 端 也 能 达到 。 如 果 存 在 b= (4,5) EE 
,使 得 Be 一” , 且 1m 包 一 1, 则 存在 停 点 on,P(ec<co) 一 1 使 了 一 
Ba,. | . 
证 明 在 员 条 件 下 ,和 supfBXose 为 停 点 } 一 sup{ 8X5 ,TE 
多 }, 故 只 需 证 明 
SUp{EXr TE DD}=sup{ BN V0E @} (C6. 78) 
显然 ,sup{BXr ,了 EE 多}-Csup{BXo,6EB}。 往 证 相反 的 不 等 式 ， 
由 象 件 (ii) 及 引 理 6. 36.W bE8 
BX, 一 | Bxracui)7) 
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| sup{ EXr TE Dd) 
—=sup {EXr .TE DD} 
从 而 supRXo<sup BXr (6.78) 式 获 证 。 
在 条 件 让 下 ,固定 4EB, 对 固定 的 hE 
2 oP! {XD(n, 2)} 


”ak | |= 


= xen) dC) 


sk |z| 一 3 
一 .| 22 [Xa d(T) 
sop{B | XTE BD} oo 
而 Xen EL , 故 
2 2 {NX DOG,Z)) oo 


由 引 理 6.35 
BX 一 | exna CD PI sup{ Xr TE BD} 
所 以 ,在 条 件 六 或 起 下 均 有 
上 一 SP {BX ,TE BI—sup{ HX OE 
设 存在 扩 二 (4 ,8')ES, 使 7 二 BXo: ,因为 
BA 


一 。 | ， EXrdlia "Up ,CT) ydiw* CA" ,下 ) 
ext HD 了 i X11 


| 。 | > sup{aXr TED dN yp TN da CA*, B') 
ex BD yy ENT yx) 

二 

期 以 ,对 每 个 (4* sB' jE ext B89* ) ,有 . 
Ezdlea: iT a. 8, — pm 

, BN" Yt) 

从 而 ,存在 外 ,使 (4 , 庆 )Eext BC ) ,有 肯 
| » EXrdieo* sy (7) 一 了 

SNL yw 
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因 为 对 时 人 人 区 胡 人 及 XB AXr 和 由 车 式 知 存在 人 EE 骂 


使 得 EX 一 . 
最 后 ,如 果 上 面 的 8* 一 (Be 和 ]) ,满足 im 一 1, 则 由 


E 
类 mp" [a] 一 2 Doar pa 6Cnshy) Xeon co) 
[Es 
. (CB. 79) 
以 及 inoo) 二 1 一 B+ 一 0(a 一 oa2), 且 
”EX | 


= 3) Ppp,2)) 


hE i=n 


= > SgrD, 2)) 


和 -和 


=| 站 2 SEs dl TD Ch 


ee Stir Dn i -中 [本 


=r 《6, 80) 
可 知 存 在 TE 多 ,Pla(?)<o0) 一 1) ,使 8Xin 二 VY, 证 毕 。 

对 于 离散 两 指标 过 程 ,有 

定理 6. 38 ” 设 {X.,.Fz;2E -YY 是 可 积 的 类 (0) 过 程 , 且 
gw ~ 网 在 即 存在 z* 为 (Fs)se vs: 停 点 ， 
使 得 RX。- 

证 明 记过 程 的 美 ( 苞 修 质 ， ”<<co- 由 定理 6. 37 只 葡 证 明 存 
在 日" 后 息 , 使 Ex: 二 上 . 

由 于 存在 .E91 二 19, 使 得 in BX, 一 ,而 日 在 B0 打 扩 
下 是 列 竖 的 ,于 是 存在 98E8, 及 子 列 ( 仍 记 为 }{} ,使 全 dn 一 
co,B0 拓扑 下 )。 

往 和 证 Sxv 一 Jimaxe 即 可 。. 

设 GA BB) AT (A OCsoaE FB {bbE 
CAB) A = {A ,ssETO NN TT aE A }, B,C= 

, 3853， 


{bE ,注意 到 


BX, =B{ (3) 5 po, 4B 之 2 XD(n,Z)) 


a |= =mfs|= 


二 EX, oo, oo, oy (6. 81) 
由 定理 6. 37 的 证 明知 2 人 BC1x:|D(n2)<<cey 故 
. 出 -和 十 Z| 
EX,= | + | BOX dL eam (CT) }du (As B! ) 
pertBimy NT ay 
下 | 和 | 一 | alx la CT sup {BI Xr| ,TE BD} oo 
因为 和 2 之 [XDCas2) 过 oo; 所 以 VY 50, 存 在 正 整数 如 ,使 


Et 2 ZX [Dn ZY) } < 《6. 82) 


由 Weakop 且 号 导 DsD<1( 岗 下面 补 证 (1)), 知 丰 在 
正 整数 天 ,使 
2 2 2 [Xie | Dn, 2)} <e (6. 83) 
取 8 一 ImmaxChyia) 刚 
28{ 2 2 2 XD ns 2) + EXon.m 人 Dans))— 
(C6. 84) 
由 于 如 ->8CBC 拓扑 ) ,存在 moE -+ ,使 


BC 2 之 [Da a) — DD, (Cn 2) XD) | mo 


“3 [LDCnsa) — Da nss) J Xeee|<e， mm 
从 而 | 
Xo Et (2 >. {12) XY.} 


es 


十 本 之， 2 2 [0 Cra) Xm}— de (C6.85) 
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记 和 她 二 {os Xo up,X (6) 一 2}. 由 于 过 程 是 类 DD 的 ,对 
上 面 的 s, 存 在 ec>0, 使 对 一 切 满足 24)<se& 的 4E 多 ,有 
sup{B|Xr|lla TEBILE 《6. 86) 
Bl Xe | ae 《6, 87) 
取 天 充分 大 , 则 有 PC45) 才 a' 见 下 面 补 证 (2)) ,其 中 a 使 得 (6. 
86) , (6. 87) 式 同时 成 立 , 从 而 
Bl 2 OL Da a Ke EBs | Xm |} Se 
于 是 由 (6.85) 式 | 
EX, 
之 8(, OX Dlns IFES 全 2 2 Xer， os 


十 而， 5 2 0D. Ca,2) (CX,—8) 


olzl= 


pK Do, (oo 00))}—de 


SE KD) BU 人 人 六 Ce | Xe |} 


ak || 


十 本 fa 2 之 其 [my 区) 一 Se 十 晤 1 do (000, 00))} 


g{ 2 D0 2)} +B{ Xe Dolo0, (00,00)))} 


wt |:|=" 
十 ee CP) Be 
BX Te (mn) 


所 以 
EXs= lim BXs 一 证 毕 
宰 证 (1); 
0 2 2 Dmg) 


= 2 > BC ds— 1)) 


本 二 一 上 
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一 之 (及 一 及 -DC4CD 一 入 CO 二 之: Cb,—B1) 
mE 本 | 
二 lim (B&B 一 上 ) 之 1 


补 证 (2): 令 Co) 一 jimsupX (0), 则 由 上 Xm: 知 上 EE 


了 (和 2 ,P) ,因为 
一 有 
if | 


{Plimsup X= 4 


故 ， 
timP{| Sup XC Lm) 全 时 一 0 
aroo a 21 
对 于 使 (6. 86) ,C6.87) 成 立 的 a>0, 存 在 和 六 0, 使 
有 (| sup XO — Lm) | Re (EE) 
i | 了 | 二 oo 
从 而 
P| sup XA@)— L(t) | {Ek ) 
kal 
于 是 
pe sup XELCG) HE) 
二 | 了 | < 





PpP( | sup X00) OO— Lo) |Se) 
1 一 6 《ta) 


取 使 (6. 85) 式 成 立 的 t 污 名 ), 则 有 
POCOADEEa, k2>max (Ck ,ke ke) 


对 于 连续 两 参数 的 过 程 ,有 
定理 6. 39 设 {1X: 史 rzE 有 是 右 连 续 类 ( 功 过 程 , 且 
limsupt [BCXr— Kr) | :TE B=0 - 《6, 88) 


则 存在 最 优 停 点 , 即 存在 停 点 o* ,使 
Xo' 二 sup{RX, 0 为 停 点 上 
证 明 由 于 所 考 碟 的 过 程 是 右 连 续 的 , 故 可 认为 多 是 可 列 
生成 的 ,从 而 g@ 着 列 紧 的 , 设 1 生息, 使 jms 一 岂 由 列 紧 性 , 存 
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在 子 列 ( 仍 记 为 ){61 ,使 0 一 02,8C 拓扑 )。. 设 饭 =《448;), 则 


EXa [rs]— > >» {BX ar oa a EEX, OR 00)} 
’ 1 - 

由 于 一 4BC 拓扑 》, 故 
limB{ Xd CR oO) = {Xe md oo)} 


lim BE {Nari I Cn) } SB{ Xo ,or nd kd)} 


所 以 
lim EXorr = BX) 

对 于 任意 固定 的 名 二 (4 ,B8') 所 日, 设 jws li 9 是 由 Choguet 
定理 确定 的 概率 测度 , 则 | 
[BE 一 已 Yor| 

过 | ae 一 ae 1dkarw OY 
sup{ | RX — BXr | :TE SDS} 
因此 
[BX — EXo| SHEXo — EXsr | [BX6 cI— BXor | T | EXors — BXol 

而 limsup{ |EXr 一 下 Xr | :EE 多} 一 0. 故 Y er0, 愉 存在 产生 .ti 使 
: EXo— EX le nN 
BEX, — EXo.-n] [<e, nm. 
又 存在 KEAL,; 使 当 js 下 时 
BXorx— Bove 
从 而 , 当 j 汪 天时, 恒 有 
BXo — EXo]<3e 
这 便 证 明了 ,BX ==r ,这 表明 8 是 最 优 的 随机 化 策略 ,由 定理 6. 37 
可 见 存 在 着 最 优 的 停 点 。 

关于 条 忻 (6. 88) 式 的 成 立 , 有 

定理 6. 40 设 {, 多 zzE 鹏 .1 是 右 连 续 的 类 (2 切 过 程 , 如 果 
¥ ed 
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limsup{ PCO XO— Xr le TEDIE=0 
则 : 
limsup{ | BXr — EXr] | :TES}=0 
证 明 由 于 过 程 类 (D) 
sup{E|Xr| :TE BB} 
目 Y s>0, 存 在 0>0, 使 当 PC4)<5 时 ,有 
sup | | XridP<<ar dt 
TE 由 = 
由 条 件 (6. 89) 式 ,对 5>0,3 NE.AN :使 当 m> 时 
sup{P( [Xr Xr le 2: TE SS}<a 
于 是 当 w> 入 时 ,有 
sup{ | EXr— BXr| :TE 


sup | | Xz — Krelldp+e/ 2 


(|X Xr! 


所 以 (6. 88) 式 获 证 。 
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第 七 章 ”各 种 应 用 模型 


前 几 章 我 们 已 经 讨论 了 几 种 应 用 模型 ,如 第 一 章 中 的 秘书 问 
题 , 即 最 优选 择 问 题 ; 第 二 章 中 的 窃贼 问题 .Bayes 序 贯 情 计 问题 。 
这 里 再 讨论 几 种 应 用 模型 ,它们 的 共同 特点 是 :都 牵涉 到 某 种 随机 
试验 ,而 且 每 一 步 都 有 一 个 报酬 函数 作为 衡量 收益 大 小 的 标准 ， 所 
要 回答 的 问题 都 是 一 个 ; 何 时 停止 最 为 有 利 。 


器 


§ 7.1 统计 中 的 序 贯 方法 与 序 贯 Bayes 估计 


亿 某 种 意义 讲 , 最 优 停 止 理论 是 受 统计 应 用 的 激 盎 深发展 起 
来 的 ,最 优 停止 理论 某 些 最 初 的 结果 是 在 本 世纪 40 年 代 后 期 ,由 统 
计 学 家 Wald,wWolfowijtztt5 和 Arrow, Blackwell ,Gifshick 在 研究 序 . 
贯 统计 决策 时 得 到 的 ,本 节 主 要 介绍 最 优 停止 理论 在 序 贯 方法 中 
的 应 用 ， 

蛙 期 的 统计 方法 是 固定 样本 的 ,也 就 是 假定 样本 灾 量 是 固定 
的 。 此 时 我 们 要 和 根据 来 自 母 体 XX 的 样本 CX,X;,-…,X,) 来 进行 统 
计 推 断 , 虽 然 样 本 是 独立 且 与 母体 同 分 布 ,但 样本 究竟 不 是 母体 本 
身 , 所 以 这 种 推断 必须 含有 误差 ,因此 招致 损失 .。 我 们 抽 锭 地 用 革 
个 中 6,ma 来 表示 这 种 损失 , 初 看 起 来 ,似乎 愈 大 ,会 使 R(5,#) 愈 
小 ,其 实 这 并 不 一 定 。 另 一 方面 , 祥 本 容量 的 增 大 意味 着 统计 费用 
的 增加 ,对 于 那些 费用 昂贵 的 统计 试验 ,这 成 为 突出 的 问题 ,这 就 
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导致 序 贯 统计 方法 的 出 现 。 

考虑 到 统计 费用 "Ce) , 序 贯 方 法 的 -~ 般 方式 是 这 样 的 ;首先 结 
侣 损失 画 数 及 统计 费用 考虑 要 不 要 艇 试验 , 彰 果 不 做 试验 为 好 , 那 
么 就 直接 给 出 某 种 羯 扇 ,和 否则 就 做 一 次 试验 并 做 出 柯 应 的 判 诀 , 如 
果 这 种 判决 已 经 达到 某 种 预 租 的 里 标 , 则 试验 就 停止 ,否则 继续 司 

一 次 试验 并 给 出 福 应 的 羯 决 , 如 此 进行 下 去 ,这 样 每 一 步 又 都 面临 

着 是 否 停 止 试 验 或 继续 试验 的 问题 ,这 正好 与 最 优 停 止 的 模型 相 
吻合 。 

即使 不 考虑 到 统计 费用 , 序 贯 方法 也 有 其 顶 直 性, 下面 的 例子 
说 明了 这 一 点 。 

设 一 NCa,07),4,0 均 为 未 知 参 数 ,我 们 要 求 一 个 4 的 无 偏 估 
计 9CXinrt) ,使 其 均 方 误差 (1gCX,,-…,X) 一 a1')<ete 预先 给 
定 )。 如 果 考 虑 固定 样本 ,比如 容量 为 4, 那么 我 们 可 得 到 一 个 样本 
CL) 由 Cramer 一 Rao 不 等 式 

1 


ElgtX | 六 





由 于 二 o: 不 可 能 对 一 切 王 均 小 于 预先 给 定 的 “所 以 不 论 样本 容量 
# 取 多 大 ,都 不 可 能 达到 这 个 目标 
现在 考虑 序 贯 负 样 :第 一 批 观 察 m 次 ,得 到 .Xi, Xs,…,X。, 算 
出 8 一 了 (XX 一 下 )?, 令 0c 半 0, 记 | 
~ dK Kay Kn) = LSJ 1 
然后 再 抽样 4 一 (Xi ,Xo) 次 ,得 到 Xott，… ,Xnts 记 下 一 二 
之 区 则 可 证 明 2 一 , 且 可 选择 m 和 ,使 BC|X 一 ol9<<e 对 任 
何 的 a, ce: 都 成 立 。 事 实 上 
加 (下 | 区 
= Xt) 
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一 十 ( XMmay Cm dd) 


注意 到 d= 二 4 (XX)， “与 之 > x, 独立 ; 襄 
EX pCBCX| Xs: MX 


=at EB{CEX—ma /Lmtd Xe ,Xa)]) 


1 =at BE(S Xs— ma) EC— Le) 


加 十 
二 让 
完全 类 僻 可 算得 
ECKX? | Xs ,Xe) 
= 2 3 XT > Xidat do? + CP — dy):] 
于 是 


2 2 
BX =— BCECX Xs Xe)) BT + BCT) 


ECX—a) :EC SL) 





1 
A prey 
所 以 可 选 普 到 或 c 充分 大， 使 估计 的 均 方 误差 小 于 预见 给 定 的 E. 
.现在 正式 地 描绘 序 贯 方法 的 模型 。 


设 C2, 多 ,是 概率 空间 ,XX 是 名 上 的 随机 变量 ,在 统计 中 常 
称 之 为 母体 ,假设 它 的 概率 分 布 族 为 {P,,0€ 8) ,其 中 6 为 参数 ,@ 


为 参数 空间 .在 固定 样本 时 (比如 样 容量 为 #) ,我 们 取样 本 空间 为 
( 扬 ,3 ,P35) ,其 中 
—PeX XP 





在 样本 个 数 不 定 时 ,我 们 取样 本 空间 为 (fr ,多 ~, 户 ) ,其 中 己 是 无 
穷 维 乘积 测度 ,g BE. 知 及 柱 形 集 8 一 BX RXBX ,PF(B)== 
PB,) ,一 般 地 , 记 样 本 空间 为 (他 , 禾 。-， :Po ,其 中 Vy 为 2 上 
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的 = 代数 。 

对 于 不 同 的 统计 问题 ,我们 需要 作出 不 同方 式 的 统计 糙 决 ”， 
比如 在 点 估计 中 ,我 们 的 判决 就 是 取 ( 一 ceyee) 中 的 一 个 数 ; 在 检 
验 问题 中 ,我 们 的 判决 就 是 接受 ( 记 为 4) 或 拒绝 ( 记 为 4) 原 假设 。 
全 体 判 决 构成 判决 空间 多 ,比如 点 悄 计 中 刍 ==1( 一 00 ,oo)), 而 在 
检验 问题 中 统一 (sd 。 

当 实 行 某 种 判决 3 时 ,我 们 根据 实际 的 问题 可 引入 损失 函数 
上 (8) 来 描述 这 种 判决 的 优 洁 ,比如 在 前 面 提 到 的 信 计 正 态 母体 
的 参数 a 的 问题 中 ,判决 就 是 取 Le) 一文 ,而 

Lid d= (Xa 

定义 7., 1 设 参 数 空间 为 8, 而 判决 空间 为 ( 统 , 咎 wg) ( 禾 g 为 
更 上 Bore] r 代数 ), 任 一 定 广 在 如 X 罗 上 的 画 数 天 (9 四 如 满足 以 
下 两 个 条 件 ,都 可 称 为 是 损失 函数 

刘 OSLO do YN EO LET 

ii) YBERB,LtD 人 是 禾 s 可 测 的 ; 

独 诀 是 根据 样本 值 而 作出 的 ,所 以 称 为 判 雇 函数 。 

定义 7. 2 设 样 本 空间 为 ( 字 , 有 as) , 判 雇 空 间 为 ( 园 ,sm)， 
任何 定义 于 综 而 取 值 于 安 的 可 测 变 换 CX) 都 叫 敌 是 判决 函数 .。 





定义 7, 3 设 洋 本 空间 为 (多 ,用 ep,8Eg@, 判 决 空间 为 
(外,%wz) ,损失 函数 为 LC(6, 拉 ,50z) 为 一 判决 函数 , 则 称 下 面 的 
C9,5) 为 判决 5 的 风险 函数 


RB = BLO CX)) 
= | ,LC0,5(X))dP,(X), gE0 (GD 
在 序 贵 分 析 中 ,我 们 要 央 定 个 时 上 和 到 诬 函数 如 取 殉 .一 fo 
XXX , 停 时 :就 是 一 个 2 上 的 可 测 函 数 ; 且 {w:t 一 #)€ 
多 ,, 对 任何 的 ”成 立 。 设 祥 本 空间 为 CR ,PF ,0EB, 则 由 Doob 
复合 国 数 定 理 , 停 时 :也 可 看 成 是 如 一 站 可 测 映射 . 记 如一 吕 或 
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四 ,4 一 1 和 Re =r), 则 A=B XRXARX 其 中 BB 七 ,这 样 
停 时 就 与 序列 {4.} 关 :一 一 对 应 ,统计 学 家 宁肯 把 这 串 (4,.? 称 
为 停 下 法则 .此 时 *E 隶 ,意味 车 ta 试验 在 第 * 步 停止。 考虑 到 
试验 的 费用 ,我们 用 上 (6,6, 站 表示 损失 函数 ,其 中 LC(9,6, 站 为 样本 
和 突 量 为 1! 时 ;判决 为 5 的 损失 ,而 cn 表示 统计 费用 ,ct0) 一 0 ,ct-) 
晨 单 调 增加 序数 ,于 是 风险 也 由 两 部 分 组 成 

RG6 Y= R06) Rd ,1) (C7. 2) 





其 中 
在 区 有 人 


一 > | Ld SCX Mos ys Ks) ndPY Cx) 
CE 
= 

一 2， | LO (Xi Kaye KX) sn)dP(rrs es) 
到 


RCO = Bctt) = Se P= +e) pr (=00) 

在 统计 决策 中 ,我 们 首先 要 寻求 使 得 2(2, 人 达到 最 小 的 最 小 
风险 解 ,一 般 地 说 ,很 难 找 到 对 #5 一 致 的 最 优 解 ,在 统计 中 常常 根 
据 实 际 问 题 的 需要 而 去 寻求 使 得 M 《6) 一 supA(b， 4 为 最 小 的 解 ， 
七 即 Minmax 解 。 但 Bayes 学 派 另 有 做 法 ， 根据 Bayes 学 派 的 观点 ， 
可 假设 8 在 中 有 先 验 分 布 &(9) ,对 于 取 定 的 停止 规则 4 称 

性 ,fd 一 | ace,aDwco) | (Cr. 3) 
为 5 的 Bayes 风险 , 亦 即 8(8,5,) 按 测度 #00) 在 8 上 的 平均 值 。 
满足 RC 6,D 二 inf (C6, 站 的 判决 函数 *5 称 为 问题 的 Bayes 
解 。 | 

设 样 本 空间 名 及 参数 空间 8 都 是 欧 氏 空间 ,那么 存在 21 
z) 为 给 定 X 二 + 时 的 正则 茶 件 分 布 , 并 称 它 光 6 的 后 验 分布 , 假 
定 对 .2 上 测度 之 pg, 其 中 以 为 客 4 上 。 有限 测度 , 则 存在 拉 东 
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一 尼古丁 导数 (7, 人 0) 一 dPo lx)/drn, 于 是 对 任 一 FE 守 s(@ 上 的 0 
代数 ) 
#(F|r)= |,P¢e,0)a860)/ | cease) (7. 4) 
Y 4E 汤 。 (2 上 的 代数 ) ,全 
PC 一 上 cpase 
并 称 之 为 X 的 “绝对 分 布 ”, 此 时 Bayes 风险 
R60) 一 | acea,oasco) 


| 


| | LY, GdP, CrdECE) 
[3 二 


人 


| | LBS A EC | rdP (ry 《7- 5) 
二 


称 忆 (as, 门 全 | LC9,6(2) ,0)ECa01z) 为 5 的 后 验 风 险 ， 
所 谓 序 贰 Bayes 决策 就 是 寻求 最 优 的 停 时 规则 :* 及 最 优 判决 
6 ,使 得 


R60 ,f° )=infint R.(6,t) 《7. 6) 
对 于 序 贯 Bayes 决策 上 
ROG)= R06 0 R06) 
因此 加 
ied = | [£66,DaPsCr)asC0) + | ee 
' 其 中 
| secoasce' 
一 [ :2 epPs (rst=n) dE) 
一 2 | etdglxr)dPer) 
Sa 
一 7eCDPGz:t 一 四 一 如 (0 
而 
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| | re dap eae) — | Resss, aPCs) C7.7) 

由 此 可 见 , 如 果 停 止 规则 ! 固定 ,如 果 5 使 得 后 验 风 险 RC5， 
xz: 达到 最 小 CP(z) 一 a. 5); 则 d' 也 使 得 RC6,) 达 到 最 小 。 

在 实际 问题 中 ,我 们 往往 要 考虑 试验 最 大 次 数 被 限定 的 序 贯 
方法 ,也 即 假 定 :Cx)EN,N 为 某 一 给 定 的 正 整数 ,此 即 为 81.1 所 
讨论 的 有 限 情形 ,由 定理 1. 2 便 知 最 优 规 则 存在 且 由 (1.8) 式 给 出 。 
在 名 于 中， 我 们 特 它 基 详 成 样本 空间 的 表达 方式 。 设 观 察 到 样本 

W. re 9 
第 一 项 为 观察 费用 ,第 二 项 为 由 判决 不 当 带 来 的 后 验 风险 , 令 
Jr ?7.8) 
Dy CTs Ty) 
Wyss sr A EC CR si) 《7. 9) 
其 中 ,期 望 要 对 在 (CX,… ,41) 绝 对 分 布下 ,Xi 在 XX，…',X, 给 
定 为 ,x 下 的 条 件 分 布 而 取 。 
Wo= inf | C00 qsc0) 
w= A Bop (XY) 
于 是 
区 一 | 和 一 
《7. 10) 
使 是 最 优 的 停止 规则 ， 

定理 7. 1 若 当 X 一 ce ,费用 函数 Cu(z…yzr) 一 致 地 趋 于 
ce 但 对 固定 的 ,Cs (zz 有 界 , 而 rz 一 致 地 赵 于 
0, 则 最 优 停止 规则 是 一 致 有 界 的 , 即 存在 ,使 Im ,如果 C(x; 
一 CCW 而 rwv(zszr) 只 与 记 有 关 , 则 序 贯 判决 Bayes 是 固 
定 样 本 的 。 

证 明 由 假定 存在 No, 至 7ytais* zw) 安 1, 这 时 若 只 作 No 
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次 试验 , 则 后 验 风 险 不 超过 sup Ca zs) 十 1 会 于 ,再 由 人 根 定 
存在 六 守 No ,使 当 NW> 和 I 时 ,inf Cgfz ya 是 :可见 Bayes 判 
决 的 停止 规则 i 一 1。 | . 

如 果 Cy riseyzy) 一 CN Py Cay yIy) 二 ay 则 作 NW 次 试验 的 
后 验 风险 为 cm 十 ee 与 试验 的 结果 无 关 。 设 co 十 @v, 一 infy[LeN 十 
aN]; 显 然 作 wo 次 试验 是 最 优 的 ,因而 序 贯 Bayes 判决 退化 为 固定 
样本 的 请 形 。 

例 7.1 设 半 Xs,… 为 记 , 的 分 布 为 

Pt X= 1)=# 
Po 一 有 一 1 一 0 0HEl 
4 的 先 验 分 布 为 上 ,1I] 上 均匀 分 布 , 费 用 函数 Co (mx 一 cn， 
损失 函数 为 L(4,) 一 (0 一 0)?, 求 最 优 序 鞭 Bayes 佑 计 。 
若 做 了 次 试验 , 记 太一 二 [十 十 X;, 若 试验 在 第 J 次 和 停 上 ( 亦 
只 做 到 第 ;次 ) ,我 们 可 求 得 8 的 Bayes 估计 为 (Tj 十 1)/j 十 2, 事 实 
上 | | 
so|T,=m) = + "(10 "dg O00] 
在 损失 函数 (98,4) 一 (9 一 4d) 使 得 它 最 小 的 Bayes 估计 为 8C9|7， 





此 时 导 计 的 风险 为 (因为 T)~B80j,9)) 


T+ 1 ,sz 
Js 3 00 


一 0 
四 一 开征 可 
由 于 判决 不 当 带 来 的 后 验 风 险 即 为 


VE “Fj) =r,(T,;) 
各 十 1 2 Er 
一 |.e jE C81,) 
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一 (十 1 人 一 加 十 1 十 2220 十 8) 
(十 1)3. 

《人 223) 
当 joo 时 ,nyCT) 一 0 而 Cay",zy) 二 0j, 由 定理 ?7, 1 可 知 序 咒 
Bayes 估计 中 最 优 规则 + 是 一 致 有 界 的 ,此 时 存在 对 ,使 持久, 这 种 
序 贯 估计 称 为 是 截断 型 的 ， 

在 上 述 例子 中 , 老 损 失 画 数 为 
9sdt 一 (0 一 拉 2 [CC 一 的 ]， 0<<< 1 

即 可 证 明 后 验 风险 为 闫 十 二 ,因此 由 定理 7, 1 可 知 序 贯 Bayes 判决 


是 固定 样本 的 。 
8 7.2 序 贯 假设 检验 


设 苹 体 X 的 样本 空间 为 《入 和 ,和 gw) ,分 布 族 为 {Po.8E 8} ,按照 
统计 决策 的 观点 ,对 于 假设 检验 :Ho;65 Boy:98 二 全 ,其 中 全 门 @ 
一 好 ,我 们 要 寻找 一 个 判决 函数 4 它 取 值 于 多 = 地) ,其 中 必 
表示 接受 原 假 设 刀 , 由 表示 拒绝 原 假 设 #1, 这 就 相应 于 将 样本 空 
间 .%” 划分 两 个 可 测 的 不 交 的 区 域 W 与 Wr", 其 中 W 称 为 拒绝 区 
域 , 令 





Pz) = rr) | 
它 与 拒绝 域 下 是 一 一 对 应 的 ,我 们 称 w(x) 为 一 检验 函数 ,简称 检 
设 wm 为 某 概 设 检验 问题 的 一 个 检验 , 则 称 
Bel) = Bp XY) . 
为 gq 的 功效 医 数 。 当 wpE 后 时 ,Bs(9) 称 为 犯 第 一 类 错误 的 概率 , 当 
9€ 间 时 ,1 一 (9) 称 为 犯 第 二 类 错误 的 究 率 。 
设 对 基 趟 e0ses 和 1,2 的 功效 请 数 记 () 满 足 :pr(9) 安 9， 


" S07 ， 


则 称 = 为 袜 验 中 的 水 平 ,而 称 g 为 一 个 水 于 = 的 检验 。 
设 9 为 某 一 水 平 为 “的 检验 , 若 对 同一 问题 的 任何 水 平 = 的 
检验 9 都 有 
PDB) YERD 
则 称 w 为 该 问题 的 一 个 水 平 为 e 的 一 臻 最 优 检验 ,简称 为 UMP 检 
我 们 自然 着 望 在 4€E 扩 H 时 , fo( 们 家 小 愈 好 ,而 在 8E€ 9 时, fe 
.《 拉 愈 大 和 愈 好 ,但 当 样 本 固定 时 ,二 者 是 牙 盾 的 ,因此 假设 检验 问题 
常常 是 要 求 在 水 平 为 a 的 范围 内 寻求 应 ( 的 在 0E 本 中 尽 可 能 好， 
大 ,因此 一 致 最 优 检验 是 我 们 寻求 的 理想 和 检验 法 .但 是 ,UMP 检验 
的 存在 是 少 有 的 例外 ,众所周知 的 Neymann 一 pearson 引 理 证 明 
了 , 当 印 ,9 ,都 只 包含 一 个 元 素 时 ,存在 着 U. M.P 检验 ,并 且 以 概 
率 比 的 形式 给 出 了 mCz) 的 具体 形式 ,进一步 的 结果 是 对 单调 似 然 
比分 布 族 给 出 的 。 
设立 的 分 布 旋 为 {了 f(z)dx(x) ,9E@}) ,四 为 忆 二 (一 00,005) 上 
的 一 个 子 集 ， 如 果 存 在 统计 量 T(z) ,使 对 任何 HB Em),f 
《zfer,90 作 为 的 阔 数 只 依赖 于 宁 (z， 且 荐 ?Kx 的 非 降 函 
数 ,又 相同 的 9E@, 对 应 着 的 不 同和 分 布 , 则 称 {Ff(z 的 ifz) } 为 单 
调 似 然 比 分 布 族 , 简 记 为 MLR 族 。 
我 们 经 常 使 用 的 许多 分 布 都 是 MLR 族 
起 几何 概率 分 布 族 
Plrm ) = OO /Oo 
其 中 台 为 仅 取 正 整 数 的 参数 , 则 PC(z,m}) 是 关于 T(z) 二 z+ 的 MLR 
指数 分 布 族 : 
Fre exp (ODT), ED 
其 中 9(0) 严 格 单调 , 则 它 关 于 了 C2) 或 (一 人 (x)) 是 MLR 族 , 正 态 分 
布 ,二 项 分 布 均 属 于 此 。 
“3368 。 





引 理 7. 2 设 1ffz,0)dufz],eEB} 为 一 个 MLR 族 , 且 非 空 ; 则 


对 假设 检验 问题 
HB, 电信 人 区 C7.9) 
及 任 给 的 ec,0<a< 1l 
iD 存在 形 如 
ll, Te 
ro- 了 xD 一 C7. 1D) 
0 Tr < 
的 检验 (7， c 为 常数 ,0sr 魏 1) 满足 条 件 
Eo PXI 7. 11) 
且 是 水 平 为 a 的 UMP 检验 ; 
ii) 的 功效 函数 549) 在 上 非 降 , 和 且 在 {0:6E€ 8,0< #0) < 
1} 上 严格 上 升 ; 
证》 对 任何 6<t:i 中 的 859) 在 一 切 满足 567. 11) 条 件 检验 中 
达到 最 小 值 。 


这 个 定理 的 证 明 可 参考 [63] 的 定理 3. 2. 2。 

前 面具 是 对 假设 检验 基本 问题 的 轰 述 ,现在 正式 考虑 序 芙 检 
验 问 题 。 

设 苹 ,X20 XXX 为 样本 序列 ,密度 函数 为 f(z,9duakz) ,6 二 
0 或 1, 要 求 检验 





Hoid—=0, 万 一] 

记 kz,0) 一 轴 (z)，fzyD 一 万 (z) ,如 果 岂 为 真 但 接受 H, 的 损失 
为 ala 六 0) ,而 如 果 已 "为 真 而 拒绝 Hs 所 造成 的 损失 为 5(5 半 00) ,并 
设 每 次 的 观察 费用 是 ", 序 贯 检验 就 是 要 找 一 个 停止 规则 上 及 最 终 
判决 函数 记 

a—= En(plr)) 

p=BE(l— wt{r)) 
其 中 wz) 为 检验 函数 ,加 ,中 分 别 表示 对 拓 ,f 岂 取 的 期 望 ,因此 给 
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出 一 个 序 贯 判决 (6, 站 的 损失 是 
a 二 cBot， 二 "为 真 . 
88 十 et 寺 为 真 
若 我 们 已 知 如 为 真 的 先 验 概 率 为 =, 则 序 贯 Bayes 判决 的 风 
险 
rer d=rCat eR) C1— a op+eB) (7.12) 
当 样 本 容量 固定 为 缔 1 时 ,容易 确定 一 个 5 使 y(r, 人 达到 最 
小 .由 (7.12) 式 ,?(r9 人 依赖 于 的 部 分 是 
nant tl— nap 
=na 2 | ff dna ) ds) 
+ (1—s)82 | 


> 2 | Jminfzafo C1 — A) dr ) dz,) 


fx) tr d(C) dlr} 


【z :4 二 于 


ac 


= 2 [ inCam sb lm ) nfo tt Cr) fa dr) de) 





RR 二 从 
《7. 13) 
其 中 
fa Fr ft t=0,1 (7. 14) 
xh, . 
ml nF. (7. 15) 
于 是 , 当 样 本 容量 固定 时 , 今 

1l, f=n BH zol nb 
水 一 7,16 
人 (7 [5 t=i EB re 一 和 ‘ ) 


则 由 (7. 13) 可 知 
rr ora, } | | 《7. 17》 


现在 再 来 考虑 停止 规则 上 的 选取 ,也 就 是 要 选择 纪 ,使 得 
之 minem BOl— mafot Cl— a fddetr) dar,) 
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一 Ducenfrpolt=i) + C1—4) P(t=n)] (7. 18) 

达到 最 小 值 , 令 
F=fa (1— Tf 
ACA mintanapti—i), 0 二 AS1 
40 二 7 
T= nfol [xfo (1—7)f,]; n=1,2p 《7. 197 
六 一 一 和 和 一 PC 一 DT 2 
.多 一 (总 ,四 ) 
,=oXi ,Xs NK,) 

其 中 天 看 成 是 XX ,X;,… ,X. 的 联合 分 布 密度 ,而 





到, 一 之 ) | 7.dP 
= {w=:!=rj 
一 之 ， 二 一 Mr 一 80 (am gpm) eds) 
用 一 Ft= 


7. 20) 
这 样 极 小 化 (7. 18) 式 ,就 是 求 停 时 ,使 三 ,最 大 ,这 化 成 了 典型 的 
最 优 停止 问题 。 
若 4 所 1 或 5 所 1, 则 8(5)< 之 1。 于 是 对 一 切 #9, 一 一 bX) 半 
一 1 污 了 . ,显然 {二 0 为 最 优 停 时 ,不 失 一 般 性 ,不 妨 设 a>1 且 0>1。 
大 (7.19) 式 看 出 ,Y, 只 是 通过 而 依赖 于 陪 ,7,Y. 容易 证 
骨 {z} 构 成 一 个 马尔 可 夫 序 列 . 事 实 上 
Ts fat NX,) 
”fo FX 
ECm, | Xis NX, ) 
br 
当 XX 给 定时 ,1 就 随 之 确定 ,而 且 CX CX,) 
与 gfxX ,小 相 独立 ;所 以 {%} 是 一 个 蕊 氏 序 列 , 而 且 ; 当 PP 
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R= 12 





Ei 





| 入) 





(7 1 二 2) 关 0 时 ， 对 任何 数 c 
已 (< 人 | 一 1 一 2) 





zfo( X,Y ， _ 

PFCRITO ORAS dm /Pm 
=PO XI /FN ) IT) 
=P(f XN /PE EN, }< i 2) 


与 # 无关, 所 以 {mm} 是 齐 次 号 必 链 而 
FS= h(x) kr 
出 定理 3. 25 或 定理 3. 42 ,可见 存在 最 优 规 则 
to—=inf {n> 0 a(n YE Cx, )} 7. 21Y 
其 中 YO) = inf {x (oa egot) + (一 2) 《C88 十 c 各 引 } ,t 是 取 自 一 切 
使 得 如 和 居 co 的 停 时 省 取 自 一 切 判 决 函 数 , 记 
V(r) = inf {moa eBot} + Cl— mw} hp eR): 
《7. 22) 
其 中 inf 是 对 一 切 4 满足 381 过 oo 且 >0 的 停 时 取 . 注 意 到 人 >> 们 EE 
有 一 { 四 ). 由 (7.21) 式 
to 0a) P(r) 
Ra) rn) Ainf{xaat (1 —n)2p)} 
hm TV A CI SAR) SV (CF) 
所 以 , 当 站 了 SF 时 ,rn 一 0 
， To=inf {nS 0 Rn JE Cm )} . (7. 23) 
容易 看 出 YCz) 是 凸 函 数 , 若 记 
= {Aha EV (Cr) } 
则 
tuo=inf {a0 nm,€ A} 《7 了 . 24》 
如 图 ,566 表示 不 观察 直接 拒绝 #6 的 决策 ,y(7,5,) 表 示 它 的 风 
“ 312. 


险 ; 据 表 示 不 观察 直接 接受 所 的 决策 ,v(x 名 ) 表 示 相 应 的 风险 。 
《7 22) 式 中 VC) 表 示 至 少 Yes) = Bl — 
做 一 次 观察 的 风险 。 因此 当 





站 











Vis 7) 一 5 时 存在 了 ， 1 
使 得 | 1 
4A 二 {fx 和 TW 或 六 | | | 
(7. 25) 让 人 
从 而 - 站 十 也 


《7. 26) 
下 面 的 定理 将 指出 最 优 的 序 贯 Bayes 检验 就 是 Wald 的 序 贰 
概率 比 检 验 。 
定理 7.3 设 冯 ,到 满足 
rR 60) 一 ri)， rnt) =V (an) (7, 27) 
如 0<m 之 zr, 则 对 一 切 zw 委 x 委 ,使 得 
r(xd)= ra eka} (1l— x) pateBt} C7, 28) 
达到 最 小 的 序 贯 Bayes 检验 就 是 以 边界 分 别 为 
.7 A 1 一 和 ) 
(Cl —x) a (1—x) a 
- 的 序 贯 概率 比 答 验 。 
证 明 由 最 优 停止 的 理论 及 (7. 23) 式 ,可 见 当 ss 或 者 x 这 
m 时 ,应该 不 艇 试验 ,此 时 相应 地 取决 策 函 数 为 Go 或 者 外 是 最 优 
的 ;如 困 Tw < 之 4 之 zw", 则 应 观察 一 次 ,…<… 如 果 已 观察 + 次 ,得 到 
注意 到 ”Cr 如 ) 是 停止 在 a 处 ,并 拒绝 8 的 后 验 风险 ,r(x， 
4) 是 停止 在 * 而 接受 和 的 后 验 风 险 。 由 定理 3. 25 的 注 12,7(ro) 一 
rr)y 它 表示 继续 观察 的 后 验 风 险 . 因 此 
当 西安 到 时 ,采取 决策 和, 即 拒绝 Ho; 
当 mT 时 ,采取 决策 di ;有 中 拒绝 Hs 





(7, 29) 
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当 和 ,< 辣 志 权时 ,继续 观察 ,…… 
由 于 *% 是 最 优 规则 ,所 以 试验 总 会 在 有 限 步 截止, 国 为 二 


A Pon ， 
xPornt Cl— apPn’ 折 以 





rm A 

这 就 证 明了 最 优 的 Bayes 检验 就 是 Wald 的 序 贯 概率 比 检验 。 
证 毕 。 

在 定理 7. 3 中 ,wi ,由 (7.27) 式 所 确定 , 它 是 abc 的 函数 ,下 
面 的 定理 4 中 ,下 区 是 任意 两 个 介 于 0,1 之 问 的 正 数 ,我 们 要 证 
明 对 先 验 概率 < 满足 zo 之 x 之 x% 的 某 个 问题 的 Bayes 解 也 是 一 个 
序 贯 袜 率 比 检验 。 

定理 7?7. 4 设 纵 定 0<z0 之 zo 之 1, 则 存在 正 数 0<w< 之 1 及 ec 这 
0, 使 得 取 9 二 1 一 w,8 二 ww, 费 用 单位 为 c, Ho 为 真 先 验 概 沦 为 (ma 
之 zm) 的 序 贯 Bayes 检验 就 是 边界 分 别 为 
， hr Sat 4 

的 序 贯 概率 比 检验 。 

证 明 由 定理 7. 3, ,mo 是 aasc 的 衣 数 ,因而 它们 都 是 me 
的 函数 ,我们 只 要 找 一 个 as 使 得 :一 可 (ie) 一 To。 
对 固定 的 #, 记 (二 zr Cyo)， z(to) 一 zwc) Pr) 也是 ec 的 函 
数 , 记 为 FFCrse) 全 





Co 一 inffie7z0:mte] 一 TcI】 {7, 30) 
所 要 找 的 mm Cwye) ,mCw,o) 应 满足 

(lw (ec}= (rc) C7,.31} 

{1—xo) w= (rn, ce) (C7. 32) 


Vr ,0) ,VCmr,c) 作 为 c 的 函数 是 连续 的 ,严格 单调 增 的 , 且 因 为 当 

样本 容量 充分 大 时 ,可 使 犯 两 类 错误 的 慨 率 充分 地 小 ,因此 当 c 扑 

于 9 时 ,Cr ero 都 趋 于 0 从 而 当 ec 一 0 时 (ce 一 Orge) 
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一 1. 由 (C7. 3D (07.32),x (ec) yz"(e) 也 是 连续 的 , 且 x C0) 严格 递增 ， 
fce)? 严 检 递 降 , 关 (co 一 天 (ceo 满足 方程 
一直 科 一 【1 一 了 了 





仿 
ra Te) ne)) 
MIT) ie) (7. 33) 
它 是 连续 的 ,单调 增加 的 函数 , 且 
limi(c) ==1 
limatc) =D 
< 
这 里 (0) 其 实 是 (we), 再 令 
pgsc) = 0 (7.34) 


1—a"(w,c) 
它 对 固定 的 关于 “单调 下 降 , 要 找 zc, 使 得 可 (oo 一 站， 
mu 一 mm 等 价 于 找 mc 使 





nC00) =roA rT 
由 的 连续 旦 单调 增加 性 ,对 任意 ww, 存 在 + 二 ctw) ,使 得 

Cae) = Ao {7.35) 
于 是 只 要 证 明 yD 寺 y(twyelw)) 是 (0,1) 一 (0,00) 的 一 一 上 帅 射 , 便 
可 向 存在 唯一 的 w; 使 

PD) 一 加 《7. 36) 


定理 便 可 告 证 ,现在 证 明 *+(w) 是 (0,1) 一 {0,090) 的 一 一 有 映射 ; 
圈定 any x T=X Cw CL , 由 定理 7. 3, 存 在 Bayes 决策 Le , 它 
就 是 边界 为 


， A (WwW, C0)) (Imiw ,clan})) 
ER 


Ao xv ctw)) 
小 一] 

的 序 贰 概率 比 检 验 ; 当 取 二 ww,e(w)) 时 ,存在 Bayes 决策 咪 , 亡 

"B77B 





—ACw, cw) = 


4 一 1 
1 
4 一 一 
A 


的 序 贯 概率 比 检 验 。 记 相应 的 犯 两 类 错误 概率 以 及 平均 观察 次 数 
为 本 
人 
a Ero t) ,EM CY 
它们 只 是 通过 为 ,而 不 是 通过 7 而 依赖 于 yc. 当 为 圈定 时 ,它们 都 
是 固 定 的 数 ,对 于 z=wGesyclw)) 以 及 7 二 "(welw})) 的 最 小 
Bayes 风险 
| 
Fn = rr 6") 
而 Vr) 一 rr Fr 一 rm 站 因此 
rEN ra) rR or BY 
从 而 . 
l=r el ow teB) 1— a YP wt es ct] 
(1—e w= orl —w) eB J+ C1 wr [pmp opm C#)] 
用 jz 代 兰 #0 一 x) ,7 代 /C1 一 zx") ,在 上 两 式 中 消去 常数 c， 
得 到 . 
irCT—oa whor tio} + re 0) + En 0)] 
=—rerdt- wt — pr roe"] air ol) iCt)] 《7. 37) 
自 《7. 37); 易 知 7? 祈 中 则 0 之 ww 之 1; 上 友之, (7. 37) 决 定 了 ?的 二 
次 式 ,容易 看 出 w==0,,. 则 7 二 0, 且 当 和 >0,r 天 0 时 .二 次 式 是 开口 
向 上 的 抛物 线 , 所 以 ?700) 一 "Cosceto)) 是 (0,1)->(0,eco) 上 的 一 一 
觅 射 , 定 理 获 证 。 
下 面 的 定理 证 明了 冶 贯 福 率 比 答 验 的 最 优 性 。 
定理 7. 5 关于 简单 假设 检验 Ho:6= 负 ,#19 二 问题 ,对 所 
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有 使 得 
Po (拒绝 五 De 
Po (接受 HD 
Beatoo, i=1,2 
的 检验 法 中 (包括 序 贯 和 非 序 贯 的 ) ,强度 为 (ae, 久 的 序 贯 概率 比 检 
验 使 得 品 , (6 ,Bo (四 两 者 都 达到 最 小 。 
这 里 序 贯 概 率 比 检验 的 强度 (a,P) 就 是 指 该 检验 犯 第 一 类 和 
第 二 类 错误 的 概率 。 
证 明 考虑 以 边界 如 之 1 之 4 的 序 贯 概率 比 检 验 , 设 0 之 
1, 令 | . 
rr. 
AiCl 一 7) 十 元 


TT 


从 而 
一 四 
4 一 可 一 而 x" 


= er rea 
(1l—x) 到 


由 定理 7. 4 ,存在 0<z< 1 及 常数 co>0, 使 的 得 这 个 序 贯 概率 比 检 
验 就 是 关于 a 二 1 一 ,b= 二 wv, 费用 为 c; #7 成 立 先 验 概论 为 x 的 
Bayes 检验 ,其 对 应 的 犯错 误 烽 率 及 样本 平均 为 a,p, BB (DB (DD)， 
考 虚 另 一 个 检验 67 ,相对 的 犯错 误 概 率 及 样本 平均 记 为 a* ,f° ， 
(C8) ,8? (C4), 因为 6 是 极 小 化 Bayes 风险 的 ,所 以 
[KE1 一 za 十 op tt) + Cn) LAwt cB Ct} 
A lwo to (0) + 1— a) a’ wt eB (0) ] 

由 于 a 半 a, 8 这 ww 邦 

xB (DTI OB EAB D+ EB DD) 
它 对 一 切 0<r<1 成 立 , 从 而 

Bo EY Ct) E CDR (1), 
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$ 7.3 Poisson 这 程 的 最 优派 送 问 题 


Poisson 过 程 的 最 优派 送 问 题 为 Ress[5 , 何 声 武 5 所 研究 , 它 
的 模型 如 于 : 

设 在 时 间 区 间 [L0,7] 内 箭 客 接 Poisson 过 程 来 到 某 长 途 汽 车 站 
候车 , 亦 即 [0, 门 内 来 到 车 站 的 垃 客 个 数 X, 是 参数 为 4 的 poisson 
过 程 .假定 长 途 汽 车 共 开 两 班 ,第 一 班车 的 开车 时 间 记 为 T:0<f 
<?7, 第 二 班车 开车 时 间 为 了 。 在 [0,r) 内 来 到 的 乘客 全 部 乘 第 一 班 
车 离 去 ,而 在 [r,?] 内 来 到 的 乘客 则 全 部 乘 第 二 班车 ,要 问 如 何 选 
革 第 一 班车 的 开车 时 间 f, 使 得 全 部 乘客 的 候车 时 间 总 和 的 平均 
值 ( 记 为 MGWT) 夺 到 最 小 。 | 

如 果 限 定 7 为 时 间 常 数 , 因 为 在 无 穷 小 的 时 间 则 隔 ds 时 间 内 
来 到 一 名 和 胰 客 的 概率 近似 等 于 ;他 所 等 待 的 时 间 为 + 一 s《 如 时 
供 在 了 前 到 达 ) 或 了 一 sf 如 果 他 在 * 后 到 斌 ?因此 

MGWT 一 | er 一 oa+ | ar 一 oas 





一 于 [十 CT— 1)?] - (7, 38) 
由 此 得 最 儿 解 为 * 一 亏 . 


但 更 为 合理 地 ,第 一 班车 的 开车 时 间 r+ 应 该 是 poisson 过 程 
{0t 和 的 停 时 , 亦 即 假定 (fr 站 EE Aa0(X5 夺 DD), 设 人 1,， 
. #2 这 1) 为 缮 客 各 自 来 到 的 时 刻 , 即 poisson 过 程 的 跳 点 ,于 是 


X= 之 ， Ira 
MGWT = B27 Cr—P)+ 2 (PY,) 
TT 7 
一 BL | KT 一 1) 遇 关 (十 二 {一 fdX,] 
0 7 
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一 加 [大 ,十 全 CCXzr 一 天 ,一 jax {7,39) 
引 理 7. 6 ”poisson 过 程 {Xi: 0 二! 寺 ?} 的 可 料 对 侦 接 影 为 WU 从 


可 | ,ax= | 
证 明 由 [3] 之 8. 34 系 ,为 证 站 为 蕊 的 可 料 对 偶 投 影 ,只 须 证 
{一 让 了 F110 这 1 和 于} 为 一 致 订 积 局 ,由 BCXi— Xs) FT BCX 
Xe 一 At 一 5 以 及 世 一 好 一 下 CCYr 一 2 人 多 ,这 是 明显 的 .再 由 [3] 
之 定理 6. 29， 必 | [cD 一 了 7*, 引 理 得 证 。 
于 是 由 (7. 39) 式 
MGWT= ECTX;— [x —BL DX 


而 


一 也 2 BCT— TX,] (7.40) 


为 使 MGWT 最 小 , 即 要 求 + 使 8(? 一 7)X, 达到 最 大 ,由 分 部 积分 


公式 





BCT OX)SE! je-oax 一 [x 
肯 一 次 应 用 引 理 7. 6, 则 
BF CP— rN]=8 J Ea-X et C7, 41) 
因为 f(D .aACT 一 站 一 XX 为 上 的 单调 下 降 函 数 , 且 f(0) = 
0,fCT) 一 一 Xx 之 0, 因 此 由 (7. 41) ,最 优 的 派送 时 间 辑 最 优 停 时 
站 一 让 了 人 人 站 一 和 C7. 42) 
我 们 可 以 把 上 述 结 论 推 广 到 XxX, 是 非 时 齐 的 Poisson 过 程 , 只 


要 强度 函数 2(1) A. < 8X, 是 单调 下 降 函 数 ,此 时 将 (7. 41) 式 中 4 用 


dt 
2 中 来 代替 , 则 得 最 优派 车 时 间 为 
t=inf {lt220, XA (TO— 1 } 《7- 43) 
如 果 {:0<iS 人 是 广义 的 Poisson 过 程 , 即 六 是 零 初 值 , 具 
平稳 的 独立 导 量 过 程 ,满足 随机 狂 的 条 件 :0 所 PKXre 一 总 一 0 和 
+ 379» 


1 ,2 PCXe 一 六 一 太一 1, 但 不 满足 单 跳 性 ,而 
limP (CX = = P(X =A) 
kD 
lim POX 一 天 一 下 | XO 1) =—p, tO ,k=1 ,2 
hot . 
Sa 
2 nm 一 1 pa 
刚 可 证 明 (" 存 在 正 数 使 :的 短 母 本 数 及 特征 画 数 分 别 为 
Pz) 研一 er |z| 1 
px (WA Be =e uaE( 一 coyco) 


其 中 


$0)= 人 Pt， al 
: gu) = 2 per, 一 op ee 
. Rl 
于 是 可 算得 


EX, = M+ hp, 
Fl| . 


只 要 级 数 之 /tpP, 是 收 敏 的 ,同样 可 证 明 久之 shP, 是 广义 pois- 


son 过 程 的 可 料 对 侦 找 影 ,于 是 得 最 优派 送 时 间 


r=—inf {0, XA PT 《7. 44) 


如 果 蕊 是 一 个 复合 的 poisson 过 程 , 亦 即 假设 习 客 是 成 批 地 来 


到 ,此 时 X= >, 其 中 已) 是 说 且 与 六 独立 的 随机 变量 列 ,y 
是 参数 为 人 的 poisson 过 程 . 设 Es <oo0, 则 EX = A 全 ?村 是 得 最 


优派 送 时 间 为 


tinf {0, MA CT—1)} C7. 45) 
现在 讨论 上 述 问 题 的 一 种 变化 形式 ,假定 第 一 班车 实际 发 车 
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时 简 与 决定 发 车 的 时 间 有 一 段 时 滞 :i 为 固定 的 常数 ) , 即 停 时 
只 是 决定 发 车 的 时 刻 ; 而 实际 开车 时 间 为 * 十 上 此 时 
MOGWT | 
=B! [eateroaxt 太一 pda 


一 3 一 吾 [ 《有 一 T 一 站 区 :+ 


一 冯 2 一 丰 人 7 一 ?DO 一 一 本 (一 z 一 0 
因为 {Xi 一 针 ,! 注 0} 与 t 独立 ,和 且 号 {Xi;! 注 介 同 分 布 ; 因 此 
ELCOP— rd) (Xr — XY)] - 
=E(T—T— OBEN Xi) 
=MT— 0) — MEr 
从 而 
MGWT= 3 [E+(7 1 — BECT— ri) x, As] 
往 求 +, 使 82L(T 一 rf 一 DX 一 Nr] 达到 最 大 ,由 分 部 积分 公式 
BL CT— 7#— (KX, — MT] | 


一 8 | ez- 一 oax- | ac | aa 
[LH 





= pt [acre—2D — Xx.Jdt) 

由 此 在 了 >2: 时 ,最 优派 送 时 间 为 . 

r=inf {ft 0 XACT— 20} 《7. 46) 

如 果 在 [0, 卫 ] 内 开 出 班车 (n>2), 它 们 的 开车 时 间 分 为 0 二 
二 TT, 要 求 下 的 最 优 解 ,使 
MGWwT=E{ | 一 tydx 十 … 十 pan) 

达到 最 小 , 若 mr ,5 为 常数 时 间 , 则 与 (7. 38) 式 类 似 

MGWT 二 全 [ 村 十 Ct 一 十 十 《一 m1)?] 


下 


容易 看 出 最 优 解 :mm 一 二 2 泪 一 1,2， "+ :4; 但 如 果 人 允许 Tl Tey*** + Th 
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为 停 时 ,我们 亦 有 


MGWT 一 FZ 一 之 ;证 (Pt) CK — X11 
im 


往 求 s, 使 
BL 1) CK, —X..)] 


一 之 寻 上 [ACT 一 站 一 (一 X， )]d 
达到 最 大 ,似乎 应 取 
n=inf[t> rT XO XAT i=1,2 
{7?, 47) 

但 在 a>2, 并 不 能 证 明 (7. 39) 为 最 优 解 。 

从 经 济 的 观点 来 看 ,似乎 只 是 考虑 使 得 平均 等 待 时 间 为 最 小 
是 不 合适 的 ,而且 飞 客 到 来 应 该 是 一 个 生 灭 过 程 . 所 以 重新 定义 一 
个 报酬 函数 ,再 考虑 到 乘客 有 等 待 一 段 时 间 而 离开 的 可 能 性 ,结合 
考虑 应 该 派 筷 班车 ， 何 时 派 车 等 才 是 于 符合 实 际 的 模型 ， 读者 可 以 
作 进一步 的 研究 。 


§ 7. 4 股票 市 场 、 投 资 与 两 次 停 时 


股票 的 价格 随 着 市 场 经 济 及 人 们 的 投机 心理 而 变化 ,因此 可 
以 看 成 是 定义 在 概率 空间 (9 ,多 ,PP 上 的 随机 变量 。 每 个 投机 者 可 
以 观测 到 某 乃 票 的 价格 呈 ,7r :Yo 如 黑 他 在 m 时 刻 买 进 ， 
则 需 花 费 Y。 随后 ,该 项 股票 的 价格 依次 为 了 Tea 如果 
他 在 sa 时刻 卖 出 股票 , 则 得 到 YY ,于 是 投机 者 所 得 的 投 酬 为 

VA 
对 于 投机 者 来 说 , 感 兴趣 的 是 选择 两 次 停 时 * 与 4, 使 娩 ,, 达 
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到 最 天 。 

下 面 设 

Gan fo Ym ) 

其 中 让 二 0 为 一 个 已 知 的 实 值 
函数 , 且 纪 .. 是 可 积 的 适应 于 多 :的 序列 ,这 里 多。 一 (wm )， 

另 设 宛 。 一 ost 和 (la) 对 随机 变量 区 ,我 们 用 
BmX ,EnX 表示 工 对 史 。 罗 ,的 条 件 期 望 。 

定义 ?. 4 (s, 站 是 定义 在 如 且 在 -人 X. 了 取 值 的 随机 变量 
对 ,如 果 

DD so 5.} 

jij) 1 18 一 区} 蕊 实 。: 

ji Y rm {=m mE 
则 称 (s, 纪 为 复合 停止 规则 。 

我 们 用 .Fr 表示 这 种 复合 停止 规则 全 体 , 对 任何 (s,DDE .Yr， 











令 
2 Ka， 8=m 有 Er=r (nm) 
一 co 8 六!{ 识 1 二 十 2 
于 是 P(t%4(0@) 一 -00) = 二 0. 
称 (Z.,) 满 足 杀 件 4++ 是 指 
ECsupb CsupZ%,) < oo | C7, 48) 


Zk) 一 





记 
{EF pn}, 次 一 ] ,2 
Fa = {EF pO—=m tn)}, Li 
FF = | 


sup ES. 


i 


Ts 一 SUp Be 


CBE Sm 


定义 ?7. 5 一 个 复合 停止 规则 (6, 中 称 为 是。 或 了 。.) 中 的 


最 优 复合 停止 规则 ,是 指 
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i) 世人 TD) 各 2 “或 ne 了 





i 开 一 Fa 
竺 别人， EFT = 和 称 (6,17) 为 最 优 的 复合 
停止 规则 。 
引入 
Yn ENSSUP Ens, C7, 49) 
bn = En ynetl (7. 50) 
及 
C={{tsty ET (ed) oc} 
显然 .我 们 只 须 使 在 =Cr 门 了 一 Cr 门 了 :中 讨论 最 优 
停止 问题 。 


定义 ?7.6 称 (s, 轨 莹 (stt) 是 指 s 守 51 且 :之 4 且 当 且 仅 当 s= 
sirt = (st = C8) ， 

定义 7.7 设 (s: 问 后 Dr， 称 (所 为 (am 可 琶 的 , 若 B21 
在! 上 成 立 。 

引 理 ?7. 7 对 于 任意 的 4==m 十 l,m 十 2,-… ,及 (3 由 E05.,, 令 

(C8) Cm ) inf {mm BZ Fm) Rn} 
则 

a) Co PE D8 EO, 

DD) bBoe | Ta) EZ, Fa); 

ce 为 (ma 可 取 的 。 

参见 引 理 2. 1 及 注 1。 

引 理 7. 8 设 对 某 一 国定 的 mn 及 ">m, (3,4) E05 是 两 个 (m， 
n) 可 到 的 复合 停止 规则 , 令 +==6 V1: 则 

a Cs,TECh, 且 是 Gm,n) 可 取 的 ; 

六) EZ |S a) max{ BZ | ms) BZ | Fo. )} 

引 理 7.9 ”对 每 个 m 宇 lL 及 1 二 m 十 1,m 十 2,… 在 在 如. 中 的 一 
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列 停 时 {ma)} 亿 使 得 

人 Cm tm) Fl 

bY BZ | sn) 4 pn Ch co). 

引 理 7. 16 车 GmECr; 则 对 每 一 个 世 及 这 mm 十 1 在 ms 
mn 上 BX) yn 且 在 (ss 二 m2) 上 BOX | mw) 守 Y 

参见 引 理 2. 16~2.19, 于 是 岂 定理 2. 20,2.2] 及 注 7 可 知 下 面 
的 定理 成 立 。 

定理 7, 11 对 每 一 固定 的 加 及 YW n>m 十 1, 有 

0) Ym Ban nm 

se 

0) 令 0 二 inf {h 社 #2 二 jr) (inf wp 一 十 co), 若 (mr 是 
(ms5) 可 取 的 , 则 (mr 是 心中 的 最 优 复合 停止 规则 , 且 

nN Tn ) = in,s 《7, 51》 
d) 设 BCsup 2 二 1, 若 POti 之 00) 二 4, 风 (m, fw.) 是 


cn 中 最 优 的 复合 停止 变量 ; 自 当 tim%, 一 一 co 时 ,P(t 之 00) 一 














1 。 
容易 证 明 ; 当 条 人 忻 4++ 满 足 时 
supE sup ) < oo 《7. 52) 
BCsupynt ) < oo (7. 53) 


为 解 人 加, 多) 过 ,的 最 优 停 止 间 题 , 令 袍 为 (多 。) 停 止 规则 全 体 ， 
= {SEF ,Hn 有 Boo} 记 


Yesssuph Cy, | a) : C7. 54) 
则 出 定理 2, 20,2. 21 有 
=e Enyatl CF. 号 名》 
Ey = sup Bys 《7. 56 
让 


令 on—inf (£22m: hp} Cinf B 一 十 0),; 则 当 条 件 4++ 满 足 ， 
* 385 。 


因而 (7. 53) 成 立 , 如 m 扣 和 守 , 则 om 是 (为 ,多 人 的 最 优 规则 , 且 
p= Ep ) (C7. 57) 
记 避 二 可; 它 是 (V7) sw 上 最 优 秆 。 
引 理 7?. 12 若 条 件 4++ 成 了 并 ,VY e090, 令 
on CE) minf (nm pp} (inf 外 一 十 cc) 
则 oa 是, 中 的 * 最 优 规则 , 亦 即 
Eprints —e 《7. 58) 
证 明 首先 由 定理 2. 42, 可 知 , 由 (7, 54) 所 定义 的 (%) 夺 "是 
六 正则 的 上 轩 ; 容 易 看 出 B77 之 50, 往 证 Plas 之 00) 二 1。 用 反 
证 法 ,车 Vos()=00) 这 0, 记 8 二 {w; 对 一 切 # 沪 mm 吉之 % 一 上} ,对 
任何 :EC . 
fae fw 


另 一 方面 ，| .js ,x, 于 是 
Ep< Ep— ep(B) 
yn — ep(B) 
一 上 
与 所 的 定义 矛盾 . 。 
在 441+ 条件 下 , (之, 序列 存在 最 优 停 时 
oninf {nn 
显然 os(e)<o。 a. 5s. ;于 是 
Va Bye er 
yn Bp, 
Ey — Ey + 
Se 
引 理 得 证 。 
下面 的 几 个 结论 是 本 节 的 主要 内 容 。 
定理 7. 13 设 o=infim 字 1; 志 二 yw) (inf@ 二 00) ,在 (0 二 nD 二 
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T=inf (rm Za = na) (INfDB—=00), m=1,2, 
且 在 [o 一 cc] 上 定义 rz 一 ,那么 在 4++ 条 件 下 ,着 (0, 中 是 几乎 处 
处 有 限 的 , 即 (o,o) EF; 则 
q) Lo,?) 是 {Zw.a} 的 最 优 复合 规则 , 即 


Es FL £7. 59) 
5) = EX. ， 《7. 60) 


证 明 由 条 件 47+ 知 ,BCsupW 之 co, 由 (7. 53) 及 (7.55) 式 
=BRh a.s. 
往 证 ¥ (sDECr; 社 本 Zr 且 当 (sy 四 二 (0,) 时 等 导 成 立 。 
C3, ECr; 作 停 时 人 列 () 守 :如 王 
ta = ow Cm ecm 
则 人 rt)E Fr 由 (7,49) 一 (7.51) 式 ,得 
Toa ma 8 (7. 61) 
且 当 (s, 四 二 (0,7) 时 等 号 成 立 。 
记 如 二 supZinytr 二 ti; 由 于 祈祷 风 jtL 3. ， 
县 对 任何 (多 .条 : 停 下 规则 & 
可 一 上 5 一 有 已 





因此 
Elys =Elis— El(Ls— Vs} C 由 C7.61)) 


溢 本 1 一 到 3 em 可 一 是 CD) 
m=1 
BU El 2 Br Liecw (Ui— Zo )] 


=El 之 | Te 
= A 
有 目 当 且 六 当 (s,1) = (o,7) 时 等 号 成 立 。 
于 是 六 洋 世 六 深 机 2 县 当 间 促 当 (的 一 《or 一 盏 2 
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(7, 60) 式 获 证 。 
雪 一 方面 
Fi= sup BZ,., 


tat}E CF 
= sup ECBZ,..) 
Te 经 中 
A 一 = Eo.r 
RV 
最 后 一 个 不 等 式 是 由 于 Co, 中 EE,, 定 理 得 证 . 
定理 7. 14 ”对 任 给 >0; 令 


S 一 imffm3z1: 因 六 加 一 总 


， 且 在 (一 m) 上 定义 :f 二 inf {n>m; 和 ,之 ,一 训 } ,上 述 定义 中 约定 
ip 纪 一 十 co ,有 在 避 一 co 上 ,二 co 那么 在 条 件 4 下 
4) (sl) Ep 、 
5) BBSp—e, as 
0) EZ RyeE. . 
证 明 4«) 由 定义 知 8<< as 由 条 件 4++, 吃 二 之 co; 由 引 
理 7. 12 


PAToo)= 1 
Bs 字 久 一 六 
同 理 
Pt<eo) 一 : 
故 
(sft) ETF 


有 令 二 二 inf {rm ZY 一 子 ) : 则 对 每 一 个 固定 的 mm, ?。 
是 5 多。),>。 的 停止 规则 ,由 号 supZh<<00 及 引 理 7. 12 


; FE 
Ent Lm net 2 
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从 而 


令 
t= mt Cm 二 DA 
则 在 tS=m) 上 ,二 5,, 从 而 


. A > Lm Dn 
m=el] Ml 


€ 


社 B21 一 地 ) 
— 
By ~、 
于 是 
BZ le 
定理 7. 15 如 yp 由 (7.54) 式 所 定义 ,条 件 4+7 满 足 , 则 


1) yn ESSSUP EZ,s 
《rmDECE 


5 Ey,—r,; 
5 若 (o, 了 在 性 中 最 优 , 则 
ye EBB, gq, 8, 
证 明 a) 由 定理 ?7. 13 的 证 明 ,Y (G(s,DEF, 
PEE . 
再 由 定理 7. 14 之 如 ,存在 如 定理 7, 14 所 定义 的 (S60,4) EF ;， 
使 


， BC 
因此 
凡 王 ee et 
同 理 可 证 :yw 二 esssup BZ, 


(aEcE 
53) 由 Y a>0, 存 在 CS5 ,10) 05, 使 
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. Earn pe 
以 及 YY C8 EOD BY 二 Byas 可知 让 成 了 江 。 

co) 类 似 于 通常 的 情形 。 | 

注 1 设 条 件 4 满足 , 则 当 Y mlimZo 一 一 2， 月 lim supZm 
一 一 co 时 ,定理 7, 13 中 (co 是 你， 中 的 最 优 规 则 。 

在 实际 应 用 时 ,假定 总 观察 次 数 w<cc 是 很 合理 的 .对 于 有 限 
情形 可 以 用 后 退 归纳 法 确定 ym 及 如, 从 而 求 出 最 优 规 则 。 回 到 一 
开头 提出 的 股票 问题 , 设 

Zn = Ye 
每 一 日 股票 价格 的 升降 是 独立 的 随机 变量 ,因为 我 们 很 少 有 先 验 
的 知识 .因此 只 能 假定 它 服从 [a.,h.] 上 的 均匀 分 布 ,a.,b 的 数值 可 
用 已 往 的 统计 数据 来 估算 。 下 面 假定 4.,h 是 已 知 的 常数 ,对 于 国 
定 的 mm 
pn = OY 
yas ts Yn VY EY Yn) 


=Yy_ Ver 一 了 


其 中 
Gy 一 在 (YvW evyyey =—0 7. 627 
归纳 地 假定 
Je 一 了 Vy 全 一半 wm 
其 中 
=BY VY t+) = Ca V 1)!] 
则 容易 证 明 


Pm = V | —Y, 

@ t= BY Vo) = (ar VY on)’] 《7.63) 
类 侦 邮 , 令 

Jr 一 六 :1 
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= By Lpvly 


=E(Y.— Yl > 1) 


= Ty iV pi 
其 中 
#1=0. 《7. 64) 
归纳 地 假定 
FY B= B. 
其 中 


Ba = B{(mspi Yet VY Pats} 
=pp {bt ane port) Vett} 
二 cml Coanes 一 六 +U A bat 
十 言 [Casts 一 p41) bot 了 一 二 2 
则 容易 证 明 
Pm! = Gn YN Bri = pn! fa) 
其 中 
B=E (Com—Y YA. 
=f 6, — (on — fs) V en] 
+ as Cas — Ba) Vi 


十 译 [ Ca. 一) AB)! 一 广 吧 ] (7. 65) 
于 是 可 求 得 复合 最 优 规 则 
oy =inf {m2] 日 Pa pn } 
=inf {m1 :Yo pb.} (7, 66) 
在 Le=m] 上 


7 =inf {n> m2 Yn} 
—inf {nm YY oY Oo YY.)} 
一 inf {n> mb } 《7, 67) 
这 里 的 wm!: 启 都 可 由 (7, 627 一 (7.65) 式 来 确定 .在 取得 吕 : 鼎 
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之 后 ,由 (7.66)? 式 可 确定 买 进 该 种 股票 的 时 间 , 丙 由 67.67) 式 确定 
卖 出 股票 的 上 时间。 

当 股 票 市 场 比较 正常 欧 时 候 , 我 们 可 以 进一步 积累 资料 ,获得 
了 分布 的 更 多 知识 ,从 而 修正 7, 的 分 布 , 根 据 所 得 到 的 有 关 世 的 
分 布 , 再 来 求 得 最 优 停止 问题 。 

现在 来 研究 所 谓 投 资 问 题 ,假设 一 个 投资 者 可 以 在 城市 1,2， 
… 或 对 项 目 1,2,… 进 行 投资 ,在 投资 前 ,他 必 禾 进行 一 部 调查 ,如 
果 他 估算 在 这 些 城 市 或 项 绅 投 资 成 功 所 能 得 到 的 期 望 收 入 为 品 ， 
凡人 他 一 旦 选 定 在 城市 秋 或 项 目 生 上 投资 ,于 是 可 以 
进行 一 次 又 一 次 的 投资 ,于 是 得 到 的 收益 为 Yey，… 我 们 假定 
他 每 次 投资 成 功 的 概率 为 9, 如 果 进 行 一 m 次 成 功 的 投资 , 则 得 


到 的 报酬 为 和 yw, 如 果 一 旦 失败 , 则 将 号 损 其 所 有 所 得 ,用 


z= To PY, em 
表示 他 的 报酬 画 数 ,其 中 

， ] ， YD 

起 二 

D0, Fay 一 必 

c 为 投资 调查 或 资产 转移 的 费用 ,对 固定 的 ,Ym ,Ynz，"…* 蚌 入 互 独 
立 的 随机 变量 , 它 关 于 6 的 条 件 分 布 为 六 十 gH C6。) 其 中 /表示 0 
处 的 单 点 分 布 , 娘 (9。.) 表 示 期 望 值 为 的 指数 分 布 ,从 而 可 见 页 ， 
. 人 相互 独立 ,有 是 P=0)==p 记 
= 


= (0 sr s,s UT syY ram 





上 
殷 一 一 


则 Yi ,za "是 独立 同 分 布 的 ,其 分 布 函数 为 PI 十 911(1), 且 与 9 
相互 独立 , 令 
N=inf {n= 1 =0} 
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= 十 二 
区 
Van nS — Om , 


因此 


{A Sup ,OAsUpPAn Ny cm)t 


引 理 7. 8 设 f(D 是 分 布 函数 ; 令 Go 一 ll ee 上 +, 由 
G) 为 分 布 函 数 , 当 且 仅 当 
Jr oo 
且 对 每 个 整数 931 
[acd < oo [rar <o0 
证 明 留 给 读者 。 
引 理 7. 17 设 六 一 加 一 ca0<ec<ee 已 是 正 整 数 , 则 
下 (supy 和 <co 全 -本 (ee 
这 里 各 一 max(CXi Xe 且 XXX 人 是 狐 立 同 分 
的 。 
证 明 不 妨 设 c=1, 定 义 


x)= Plsuprt Su) 
a 这] 
则 对 zz0 
G(D 一 POCO 二 1 Xa ,0 ut) = I restn) 
= | 
由 引 理 7. 16 
Etsupr; )*— [ew <o0 
n=1 0 
S| wap y=B yc 证 毕 
现在 假定 外,,… 是 独立 的 正 值 随机 变量 晶 具 有 相同 的 分 
布 , 并 < 之 oo,i 二 1,2，*…, 容 易 算得 854 = 二 Ze-ipL (a— 1)29 十 
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KG 一 1 一 Ce 一 1 的 )}<co ,而 名 与 呈 相互 独立 (j 二 1,2,…) ,从 
而 
EO SS — Br ESL AL oe 
于 是 由 引 理 7. 17 知 
<om 
而 
tin aE —suptd Ss — CI ksupttidy 一 上 过 人 @ 十 本 
i i>m 
所 以 有 suptns280<ec, 即 4++ 条 件 满足 。 
注意 到 对 每 个 固定 的 m, {2 实 ws 属于 单调 情形 , 事 
实 上 , 若 令 
天 一 [再 (2 | rr) Zn } 
由 于 
REZ | sn) 
ED 
二 二 一 生 mt 和 CY 十 se Va) Yt | 家。 } — em 
= | em 
其 中 
iim =—E(CYh a | .过 一 可 (nl | 8 ) 0 
因此 mE€ BB 舍 或 者 存在 m 之 之 mw 十 1 使 页 = 0 或 者 


TL eat tty + gj — cm 


< ec te tgs) em 
因此 
B, = (2 一 — em 或 ZO— Cr } 
其 中 
ba—BEny npn Pp 
_ 所 以 
”394 。 


Bra+ttC Br+ti 


他 
Ta 二 1 一 inf {nm 二 1 :oOE B,} 
a | 
一 inffa3zm 十 lt 一 0 或 这 yw32 如 (7.68) 
一] - 
则 


Plrtaat AVEPG = 1 R=1 2 = (no) 
下 此 可 见 mceo as , 且 序 列 {2y. 守 .nm} 属 于 单 请 
情形 ,由 于 4++ 条 件 成 立 , 因 此 


{im 一 0 
一 二 > 


eo mt 


而 如 入 cm, 故 对 任何 {EC 


Bm | Zim=0 
tn) 


用- Po 


由 定理 2. 8, 可知 rr 是 {12 丈 .> 的 最 优 规 则 , 亦 即 mm 
三 Zo 4 现在 来 求 { 和 5 了 Fm sm 实 让 的 最 优 规 则 ,为 此 先 计算 7 

考虑 下 面 的 随机 汶 动 问题 , 设 了 ,了 ;,… 是 独立 同 分 布 随机 灾 
量 序列 ,分 布 沙 数 海 PI 十 9#4 (站 , 令 


N=inf{p>1: 一 0 或 十 2 之}， b>0,4<8 





SOD =Loy,w0 (ut 之 Y,) 
记 Fa ==ES(w), 则 可 征明 
7 一 外 [ret mayt [A 
(7. 69) 
其 中 心 (的 一 斑 e-. 在 右边 作 替 接 六 二 y 十 4 然后 两 边 对 4 求 微 
分 , 则 可 得 所 Cg) 一 pF 19, 所 以 f(D)=Cexr ,因为 f(5 二 g(3 二 


9 由 [7. 89? 式 ) ,于 是 了 Ca 一 96B 十 的 eze 一 om ,如 令 5 二 8/p, 则 了 C0) 
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一 物 / (pe'), 
应 用 上 还 结果 , 则 可 得 
| pn = Bean 一 了 一 cm . 
其 中 ?一 9/ger {rtm 主 1} 是 相互 独立 且 同 分 布 , 记 其 分 布 函 数 为 
.0, 令 . 
Ke’ 一 一 cm 一 af re, ) m1 
则 由 第 二 章 8 2. 4 之 例 1. 可 知 !1X。 ,. 实 。.m 字 1} 沪 于 单调 情形 , 且 
o=inf {m1; NM, Ea} (C7. 70) 


为 最 优 规则 , 式 中 为 | (一 ord6GCD 一 e 的 解 ,同时 我 们 可 知 
ER = 
下 面 的 定理 表明 上 述 5 也 是 人 wy. 祈 wyw 汪 1} 的 最 优 规 则 ;从 而 
Co,7) ,其 中 在 0 一 m 上 ,rt 二 7m.a+; 是 最 优 的 复合 停止 规则 ,这 就 完 
全 解决 了 投资 问题 。 
定理 7. 18 ”上述 (7.70 所 定义 的 = 是 { 攻 ,安之 1 的 最 优 
规则 , 且 不, 一 w , 
证 明 因为 0 ==inf {m1.maz(r9 70) 守 0} 
=—inf {m1 :pr6 3) 
于 是 ”Xe 一 ?9 一 co 一 筷 : 而 对 性 意 的 停止 规则 ,7 夸 X' ,从 而 
EyAEX' EEX,' 一 下 一 如 


$7.5 战争 中 的 最 优 停止 问题 


1972 年 Norman star 在 [73] 中 研究 了 如 何 赢得 战争 的 问题 . 假 

设 有 两 个 武装 集团 发 生 了 战争 ,一 场 战争 总 有 许多 有 同 歇 的 战斗 

所 构成 ,假设 战斗 次 数 w 是 一 个 固定 的 常数 ,每 次 战争 中 双方 胜 

负 的 概率 是 确定 的 ,比如 设 围 胜 的 慨 率 为 ,并 设 每 次 战争 的 费用 
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为 常数 和 ,经 过 若干 次 豆 有 胜 负 的 战斗 之 后 ,双方 都 得 考虑 战争 是 
否 要 继续 打下 去 的 问题 。 

现在 用 "表示 从 次 战斗 倒 过 去 计算 的 甲 方 连 续 胜 利 的 次 
烙 , 比 如 九 次 战 半 中 甲 广 的 胜 负 状态 是 :WFP,W,W,F,W,W,W,W， 
这 里 信 表示 甲 胜 ,有 表示 甲 败 , 按 Ta 的 定 久 ,可知 m=1,rs=0 ,7 = 
1 一 2 一 0 一 1 一 2 一 3 一 4 交战 的 双方 都 想 已 方 在 停 
战 时 有 较 多 的 连续 胜利 ,以 求 得 谈判 桌 上 争 得 更 多 的 利益 ,但 是 在 
取得 几 次 胜利 之 后 是 停 下 来 谈判 还 是 继续 打下 去 企 求 更 多 的 过 中 
胜利 呢 ? 

现在 来 建立 合适 的 数学 模型 。 

令 怠 一 {1o 一 (olgyimor ;其 中 6 一 0 或 1} ,ww=0 表 示 甲 在 第 
i 次 战争 中 失败 ,w== 1 表示 甲 在 第 i 战争 中 获胜 。 

Piao=D)—=yp>0,P(m=0)=9—=1—yp 


.宏一 怠 的 一 切 子 集 

fr， 如 果 m-:+ 一 …… 一 ar- 
To 一， . 

10， 如 果 OO = 
ne 汪 必 


or Ce) ) 
L73] 中 引入 报 函 数 
XO) OP 0) en C7.71) 
容易 证 明 了 是 一 个 齐 次 马 氏 链 , 且 YY rn 
Pfrs ii 一 十 1|7. 一 r) 一 2 
PCr 一作 ] 7 一 F) 一 弛 
由 于 总 氏 链 具 强 马 氏 性 ,因此 Snel 包 
rr =esssupE (CX, [7.) 
ree 
是 otr) 可 测 的 ,我 们 记 下 (7) 为 rr 在 [% 一 "J 上 的 值 
Epily,= 7) 
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1 vy yr 
= perry | 本 ET 十 | ro +t! 
=pyi(tr 二 1) nr 0) {7.72) 
我 们 有 
Xvyory oN 1 
《7, 73) 
Wr) =r— cnY PIC 十 1) gc0)| : 
最 优 停 时 
Ty—inf {0SnN (=r cr) (7.74) 
为 了 求 得 重 好 的 表达 式 , 首 先 证 明 
引 理 7. 19 YY Or . 
D) WO = on (7.75) 
让》 WOE!) C7.76) 
i) C0) C0) 《7, 7 了 7》 
其 中 上 一 "一 sup Elrict) 
"Ec 


证 明 由 于 四 是 马 氏 链 
C0) =esssupB CX | 一 0 


5E 


esssupB {7 — C(t—») [= 0 cn 


"Ee 


csssuph 【一 可 ro 一 DO) 一 cr 
IE 人 


一 上 一 
《7.75) 得 证 ,《7. 76) 是 显然 的 ,由 (7.75) 便 得 (7. 77)。 
在 模型 (7,71) 中 ,需要 将 不 同 量 网 的 数 ”与 0 统一 在 一 个 式 
子 中 ,这 不 是 容易 做 到 的 ， 我 们 提出 另 一 种 模型 
二 fr) 一 CR 
其 中 Fr) 是 > 的 单调 不 减 的 整 变量 函数 。 为 了 处 理 方便 ,将 它 
成 阶梯 函数 , 即 设 
Fl) = fr) rz] 7 一 日 1.2,…- 
并 假定 : 
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1) ff0) 一 0 目 f(r) 是 上 册 沙 数 , 于 是 ¥Y 0<p<l 
fr) pf r+ 2) 


SFI) 
< (pF1NFr+1) 《7. 78) 
2) CP+HIDFCT Do—fr} plrt+ 2 og (7. 79) 
定理 7. 20 在 上 述 假设 (7.78)、(7. 79) 式 下 
PCr) fr ct (7, 80) 
全 pnt 0) 一 加 {7. 81) 


其 中 (r= 了 f(r) 一 pftr 十 1)。 
证 明 必要 人 性。 设 (7.80) 成 立 , 由 (7..73) 式 
ferj—cenep(t fir 1 —etnt 1) ey C0) C7. 82) 
它 的 变形 即 上 .31) 式 ,必要 性 得 证 。 
充分 性 。 由 后 退 归纳 法 , 当 a= 六 一 1 时 , (7. 80? 是 成 立 的 ,如 果 
充分 性 对 六 一 1,# 一 2 已 证 得 , 往 证 "一 1 的 情形 ,由 (7.82》 
式 , 此 时 
一 一 二 十 二 一 c 二 90) C7. 83) 
于 是 
fr 十 1 一 c 菩 人 十 1 一 串 十 Fr 十 1 一 Fr 一 ce 十 的 TCD) 
再 由 (57. ?9) 式 , 则 
FOr enp(f r+ 2) — ert 1)) + opt (0) 
由 归纳 假设 # 之 情形 ,这 表明 
mw {7 二 1} 二 fr 十 1) 一 cn 
将 此 式 代 回 (7.83) 式 ,可 见 
fr) cD)>p (rr 十 1) C0) 





因此 
Wi) = fr) en 1) 证 毕 
注 2 到 fr 一 mr 则 回 到 173] 的 结果 。 
9 


现在 来 求 模型 的 最 优 停 目 规则. 
定理 7. 21 设 c 汪 pf(1), 则 最 优 规 则 zw 二 0; 设 oc 之 101), 则 
Tv 一 inf {0 Nw et yw ogpe} {7. 84) 
证 明 只 要 证 明 当 c 这 7f(1) 时 ,对 一 切 0 才 rE 
r= fr een. (7. B85) 
当 # 一 时, (7?. 85) 是 成 立 的 .如 果 对 r= 二 和 N,N 一 1,…,E 十 1 
《7. 85) 成 立 , 则 当 "一 上 时 
RPDF ety pfCr+ 1 elk 1) — gk 1)) 
由 此 可 见 , 达 (一 拟人 一 此 等 价 于 mr 六 一 由 (7.78) 式 ,7 
C7) 是 增 晴 数 , 所 以 
PP0)=—7Pf(DF—e 
《7. 85) 成 立 。 | 
由 这 个 定理 可 见 , 当 一 次 作战 的 费用 c 大 于 等 于 一 次 胜利 之 
平均 所 得 时 ,以 不 开会 为 最 优 ; 在 tc 过 fF(1) 时 ,由 后 退 归 商法 可 求 
得 一 列 R410), 当 胜利 次 数 的 连 山 py, 满足 pr ) 守 ges 十 j 坟 1(0)) 
十 因 时 ,就 应 该 停止 。 
推论 7. 22 VY¥ 0Sr 和 #N 如 0) 二 fr} 一 on, 则 
Ra 十 1] 一 Fr 十 1 一 en 十 1 
证 明 由 于 从 (7)=f(7) 一 orp(7) 这 qcr 十 F100)) 一 pe 而 
由 《7.79) 式 
pr let) pe 二 opr 二 1) — wir) 
CR 二 DO) — pe 








因此 
HI 十 1 一 Fr 十 1 一 ca 十 1) 
这 个 推论 表明 :如 时 在 第 4 步 停 下 来 为 最 优 ,但 再 打 一 会 又 取 
得 了 胜利 ,此 时 也 应 该 停止 战争 , 方 为 最 优 的 策略 , 企 求 常 胜 是 没 
有 根据 的 。 . 
推论 7. 23 设 pgfO) 坟 cS 一 0, 如 (1)>e 时 对 菜 ar， 
= A00 * 





一 0 和, 则 tn ， 

证 明 定理 7. 21 已 证 明 ec 袜 邓 () 汪 m 一 0 在 27(0) 人 > 的 条 件 
下 , 当 一 0 时 

PDO= pep ptent m0)) 
由 《7. 84) 柯 见 rm 由 于 mr 一 oO 一 一 时 (1) 可见 在 好 (1 人 > 
“的 条 件 下 ,mx 盖 0, 因 此 怀 一 0 意味 着 pf(1D)&e 证 毕 。 

这 个 推论 的 直观 意义 是 ;如 果 pf(1)>e, 而 当前 的 战斗 失败 了 
《一 0): 则 应 该 继续 打下 去 ,换言之 ,在 好 (1 的 条 件 下 ,失败 
时 更 不 能 停止 战争 。 
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附 了 录 


这 里 扼要 拖 述 本 书 中 用 到 的 测度 论 . 款 论 的 某 些 主要 结果 ,以 
方便 读者 ， 

1. 报 率 空间 

设 8 为 基本 亡 件 的 集合 ,多 为 台子 集 所 构成 的 0 代数 ,P 为 
定 文 在 多 上 的 概率 测度 , 则 称 (2, 多 ,P) 为 概率 空间 . 称 它 为 完备 
的 ,如 果 多 包含 一 切 等 测 集 的 子 集 ,只 要 将 多 适当 地 扩大 ,总 可 
以 使 (2 多 , 哺 为 完备 的 概率 空间 。 今 后 我 们 都 软 认 (8& ,多 ,号 是 
完备 的 概率 空间 。 

在 讨论 随机 变量 序列 时 ,我 们 需要 考虑 多 的 子 o 代数 列 
二 1,2 , 它 满 足 单 调 性 , 即 多 "和 兄 王 多 :三 … 另 外 假设 
史 4 包 含 了 .多 中 一 切 零 测 集 的 子 集 . 记 多 < 一 了 多 .一 5( 忆 2 )， 
一 般 地 取 多 "为 由 品 灿 及 一 切 淮 测 集 子 集 所 生成 的 代数 ， 称 族 
《多 ,) 世 "为 随机 基 或 = 代数 流 

在 讨论 随机 过 程 {XCo) ,1E Ri 时 ,我 们 需要 考虑 多 的 子 o 
代数 族 { 罗 itE 中 ) 它 满足 所 请 的 通常 条 件 是 指 

DY iis FCF,; 

ii) 实 , 包 含 了 多 上 一 切 零 测 集 的 子 集 ， 

ii} 竺 se 

也 称 族 (入 jer 为 随机 上 基 或 So 代数 流 。 

2. 关于 数学 期 望 的 几 个 极限 定理 

定理 4.1 Levi 单调 收敛 定理 :, 若 随机 变量 列 X. + X, 且 EXT 
00 ;由 | BEX, 个 BX; 类 位 地 , 若 克基 五 tr oo0, 则 BX 

证 明 令 无 一 XX 一 XX, 则 让 不 1 二 X 一 XX 宇 0, 且 每 个 天 汪 0, 对 
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每 个 所 存在 非 负 的 简单 丽 数 列 fm 和 也.(mo0), 令 二 Vf, 则 g 
仍 是 非 负 简单 画 数 , 且 gf,9S&f。, 故 由 积分 的 定义 
BF= lim bg lim Bfa<S BF 
从 而 
lim BXs— BX = EX— BX, 
由 于 BX7 <o0, 在 上 述 等 式 两 边 加 上 8X 之 一 oo, 则 得 到 所 需 的 结 
果 , 定 理 的 后 半 部 分 是 类 似 的 。 
上 述 定理 中 XX.4 六 可 改 为 X, 和 XX 4.s. ,今后 如 果 不 如 特别 
的 说 明 , 在 皆 率 空间 上 实 值 随机 变量 的 收敛 总 是 理解 为 在 几乎 处 
处 意义 下 的 ,类 伏地 “sz<g 也 理解 为 PCz<si) 一 1。 
定 久 二 1 一 个 实 值 随机 变量 序 询 (X.) 称 为 是 一 致 可 积 的 ， 


如 果 有 


imsup f |X|=0 . CA. 1 
orm [ET 
众 知 它 等 人 于 
sup 召 | X | 一 = 且 ， lim sup fa | | 一 如 {A. 2) 


定理 4 2CFatou 引 理 ) 著 (x) 是 - : 致 可 积 的 , 且 5 (lim 
supX,) 存 在 , 则 | 
Elim sup XX. 之 tm supEX, 
类 似 地 ， 若 (X- ) 一 致 可 积 , 且 Cim infX,) 在 福 ， 则 Etlim inf 
Xlim inf EX,. 
证 明 只 证 第 一 部 分 . 先 设 对 一 切 msn<<co, 由 于 supx 
lim sup X.(e>=o), 且 
Elsup XI) Sa< ce 
由 Levi 定理 
BCsup XxX) Blim sup %) 





也 
ECsup A EX, 
从 而 
lim sup BX Eim sup X,Y 
在 一 般 情 形 We, 取 < 充分 大 ,可 使 
本 (其 内 全) EX,—e, nl 
其 中 A 及 Y 为 格 运算 符号 ,分别 表示 取 小 或 取 大 的 运算 .于 是 
Elim sup XN) Eim SuPTX Aa) elim sup BX,—e 
由 :的 任意 性 ,最 后 证 得 本 定理 。 

邻 后 称 CX7) 一 致 可 积 为 上 一 致 可 积 ,CX7) 一 致 可 积 为 下 一 
致 可 积 。 
定理 4.3 设 0 委 总 一 大 且 Bocofe21) 则 下 XXX<co ， 
当 县 仅 当 (X%,) 一 致 可 积 。 

” 证明 充分 性 ,对 (CX)( 一 X,) 应 用 Faton 引 理 可 得 
EX<lim inf EX,<lim sup EX EX 
由 (的 一 致 可 积 性 及 上 式 可 知 BX<o0， 
必 村 性。 首先 可 以 看 到 集合 - 
五 一 15 太一 六 0》 ， 
是 可 列 的 (事实 上 ,对 每 个 m=1,2,…, {6:P(X= 站 之 十) 是 有 限 
的 ), 对 任何 各 号 ,有 
ir ca Nie 


显 热 1X,Lo<o) 仍 是 一 致 可 积 的 ， 从 而 出 上 述 充分 性 的 证 明 
| ,7 |_ ,A 
于 是 对 每 一 个 a 谍 #8, 有 


| NX | x 
CX yd (Xe) 


50, 议 mw 所 8B 充分 大 ,使 得 
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` 再 令 充分 大 ,使 对 所 有 的 #2 守 No, 有 


Be 
| < | + 评 
最 后 取 充 分 大 的 4. 尝 m ,使 对 一 切 4 一 1,2,… ,No， 有 


[te 
于 是 对 一 切 a 之 a, 有 


| De n= 12 
这 就 证 明了 CX.} 是 一 致 可 积 的 。 
推论 4.4 车 XX 一 X 且 (X,) 一 致 可 积 , 则 
B|X—X|—0 
证 明 由 Fatou 引 理 和 (4. 2 和 式 
EI Ximinf EIX,|<oo 
不 难看 出 (| X, 一 X|) 是 一 致 可 积 的 ,于 是 
OlimE|X,—X|=0 
定理 4. 5” Lebesgue 控制 收敛 定理 ”车 X,-X 且 存 在 一 个 可 
积 的 随机 变量 y, 使 得 
| Ix, | #1 
则 
ElX,— XD Tc . 
下 面 的 引 理 在 涉及 条 件 期 望 的 论证 中 经 常会 用 到 。 
引 理 4.6 若 BX 和 BX: 存在 ; 且 Y 4E 中 ， | sc=， 
[x%, 则 
X= Xs 


证 明 对 每 个 m>0, 有 
-41l2， 





| Co 一 xs 
4 一 《XI 一 车 空 ?可 得 
P{IX Sm, Xi Xe} = 0 
令 二 0:m 一 co 就 有 
POX < Xi Xs) =0 
类 似 地 可 证 
PCOIXs | oo0, Ki X=0 
由 EX 所 8X 可 知 POX 二 十 oo0, 计 二 一 00) 二 人 ,从 而 pC 
Xs)=1。 - 
3. 条 件 期 望 
给 定 多 的 一 个 子 o 代数 名 和 一 个 非 负 的 随机 变量 闫 , 则 六 
关于 多 的 条 件 期 望 BCX 多 ) 是 一 个 多 可 测 的 随机 变量 , 它 满 足 
YY AE 
[x*= | Cx.1%) 
只 要 8X 存在 ,可 定义 
EX|S)=ECX+ | EG)— ECX- IS) 
我 们 有 
i) 车 Xo 守 0; 划 
BCXo | 0 
这 》 六 (1 区) 一 1 
证 ) 车站 8 十 志 X， 不 是 十 ce, 一 oo 的 形式 ， 则 
ECXo Xi YG) =X GE) + EX | GE) 
iv) 营 Xo 是 多 可 测 , 且 mxox 存在 , 则 
BOXOX IS) NBCX |) 
v) 若 X0 与 F 独立 ; 则 
ECX, SS) = EX, 
Yj) 车 多 * 刁 党, 则 | 
。 413 ， 


pK B=ELE(X | BIE ] 
. 定 开 4 7 条 件 期 望 的 单调 收 合 定理 若 交 不 X 且 EX 存 
在 : 则 在 {8CXo|3) 守 一 co} 上 
ECX| EI)=1mMECX, |) a.s, 
证 明 对 任何 m=1,2,…, 令 B 一 {BCXo| 泡 ) 这 一 m} 
B= U B= {ECX |)>— 0} 
则 ECX | SE) , 令 y= lim g(tX. | 名 ,因为 
| 交 < 一 [ 至 (| BI —m oo 
对 每 个 4E 罕 ,一 1, 2 由 定理 4.1. 
| 各 je 9)= lim jo, X= | X= | BCX |Y) 


A 


内 而 由 4.6, 在 马上 
y= EXE|E)Y a,s, 
所 以 在 8 上 
y= ECX|S) a.s. 
定理 4. 8 (条 件 期 望 的 Fatou 引 理 ) 若 XX 志 和 ,上 且 电 
”dimsupX,) 存 在 , 则 在 {8CXo| 客 ) 过 co} 上 
Etimsup XX, | HimsupB(X, |G) 

类 侦 地 ,车 庆 宇 癌 , 且 二 (iminfX,) 存 在 ; 则 在 18CXo| 贸 ) 守 一 

ceo) 上 
EB{liminfX, | SILiminf BCX. | YY) 

证 明 荣 似 于 定理 4. 2 的 作用 ,但 要 注意 由 CX ) 一 致 可 积 及 多 
timsupX,) 存 在 推 不 出 Fatou 引 理 ,可 见 Zheng Wei-an 所 枸 造 的 反 
例 .CZwG. 53 卷 第 3 期 1980 年 ,P291 一 292)， 并 且 在 条 件 期 望 情 形 也 
没有 相应 于 4.3 的 定理 。 
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定理 4. 9( 条 件 期 望 的 控制 收敛 定理 ) 营 |X.1i 所 Xo, XX， 
且 BX 存在 ; 则 在 {8CX0| 吕 ) 过 co} 上 
ECHX,—X ID Hoo 
证 明 类 似 于 4 5。 
定理 4. 10(Jesen 不 等 式 ) 设 9 为 RR 上 连续 的 下 凸 苞 数 , 且 
45X) 有 限 , 召 (三 | 只 ) 有 限 , 则 
gECX EDNEECN) | 下 
证 明 令 8* 为 ?的 右 导 数 , 则 对 任意 的 实数 *,g, 有 
1 (0 一 DJs9G) 一 9(Cz) | 
以 (XI 多) 及 XxX 代 和 蔡 上 式 中 的 z 及 y, 得 
gy CBCX|GII CX— ECOXIEI) FBCX BDOXY 
记 上 式 左 边 的 睛 机 变量 为 Y, 则 Y 关于 江 的 条 件 期 望 存在 , 且 如 (了 
| 宫 ) 二 gCE(X|)) ,由 守 9CX)7 ,可 网 Bg(X)T [BSB |B) 
过 co, 因此 gC%) 关 于 名 的 条 件 期 望 存在 ， 定理 得 证 。 
4， 本 质 上 确 界 
定义 4.2 设 ' 弦 为 随机 变量 的 非 空 族 , 称 随 机 变量 wm 为 &” 
的 本 性 上 确 界 ,如 果 ; 满 足 
i) 对 一 切 SEB te et; 
ii) 设 六 为 一 个 随机 变量 ,使 得 对 一 切 SSE、 有 5 入 
as ,由 有 ja 
由 此 可 见 , 如 果 本 质 上 确 界 存在 , 则 不 计 a.s 相等 的 两 个 随机 
变量 的 差别 , 它 必 唯一 , 记 它 为 esssups 或 cssuper- . 
定理 4.11 信 .2 为 随机 变量 的 非 空 族 ， 则 2 的 本 质 上 确 
界 必 存在 , 且 有 . 饼 ” 中 至 多 可 齐 个 元 (4.) ,使 得 
esssupG = Vt | 
若 22 还 对 取 有 限 土 端的 运算 封闭 , 则 心 ) 可 取 为 一 单调 增 序 
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证 明 不 妨 设 多 中 的 元 一 至 有 和 拭 , 和 否则 可 考虑 族 .和 一 
farcig3 :5 毛 识 和, 师 外 显然 可 进一步 假定 这 对 有 限 上 器 的 运算 封 
. 何 , 令 《Ce 为 -- 单 调 增 序列 ,使 得 : 
limbs,= sup Bs | 
令 9 V 吉 沁 满 足 定义 4.2 的 条 件 iD , 往 证 条 件 门 。 
任 取 SE 多 , 令 台 = N5, 则 (5s)C2B ,C6.) 单 调 增 , 且 lims'， 
二 nV$, 我 们 有 
EEN £) = lim EE,! sp 的 二 抑 
bo EE 
由 9V ES1 故 从 上 式 知 ?Ye as 记 即 32 s. 所 以 
1 为 儿 - 的 本 质 上 确 界 。 
5.。 离散 时 间 著 
定义 4.3 设 (2, 罗 ,P 为 一 概率 空间 ,! 是 有 序 集 { 一 co, ， 
一 1,0,1,… ,十 co 的 任 一 形 为 (aa [ab ,casbj ,fas5] 的 区 霹 ， 
下 款 是 指 一 族 {X,,. 字 ,,n€ 1}, 它 满足 
i 对 一 切 ME TR; 
iD 中 ay 区 是 .多 ,可 测 ( 称 为 多 适应 ) 的 实 值 湖 宙 变 量 且 BX+ 
所 
十》 有 mR Xn BCX |) 
如 果 上 醋 不 包含 十 ce 也 不 包 售 一 ce : 则 者 ? 可 代 之 以 
对 一 切 #0#n 二 了 El, XBRCX | ) | 
荐 {一 Xn 为 下 蒜 , 则 称 {XX 名, 七 站 为 上 款 ; 若 再 | 
,X | <eomET 且 在 了 7) 中 成 立 等 号 , 则 称 它 为 蒜 。 
设 ( 多 .是 有 多 的 一 列 上 升 子 = 代数 族 ， 对 实 。 Ar(UF)L 
的 任 一 上 概率 测度 8, 以 人 & 记忆 在 多 上 的 限制 ， 并 设 每 个 ,对 P 
在 多, 的 限制 绝对 连续 。 记 闷 一 9 全 为 Radon-Nikodym 导数 , 则 
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[x @ CA) = 0.d) | x 





因此 {和 .14<oo} 是 靳 ,特别 , 若 如 ,如 ,… 江 (独立 同 分 布 )， 
密度 函数 为 1, 它 是 对 忆 上 Borel 集 上 的 某 个 有 限 测度 “ 而 取 的 ， 
而 g 是 另 一 个 关于 / 的 概率 密度 ,如 Y 4€ 儿 ,，| Jin 0 可 椎 
出 | gd 一 0, 那 么 取 字 , 一 oo， 的 


Fg) gn) Do 
Fl Fy) fey)" "Snoo)} 





是 鞠 。 

若 对 某 个 非 零 实数 4,m( 科 三 Be 之 oo, 我 们 可 取 x 二 Pf{y 
EC*)} (因此 在昌 9 的 一 /9 人 则 全 pA) ,LC 
2} 是 鞍 。 

定理 4.12 设 {X, 信 ,lr 人 NN} 是 下 球 . 则 对 任意 i-0 


AP(CmMaxX. >A) | EX CA. 27 
Es [maxX, Ee 了 

iP{tmax | 大 ,| 35 EX 2X {A. 4) 
a . 


定理 4. 13CKolmogorov 不 等 式 ) 设 {X,, 祈 ,1 之 1 这 NI 蚌 一 
个 平方 可 积 质 ,有 VY asw ,BX2<oo, 风 
PC max |X,| 之 为 多 EX 《4.5) 
由 于 {X? ,srcec 是 可 积 的 钠 ， 由 4. 12 之 第 一 式 ,直接 可 得 
出 Kolmogorov 不 等 式 。 
如 果 {X4 字 ,1 于 R 之 coo} 是 舱 , 目 supBX!<o0, 出 Kolmogorov 
不 等 式 容易 推广 为 
Plsup|X, | 之 Dp 
定理 4. 14 Doob 不 等 式 设 {多 1S&n<o0} 是 非 负 下 塔 ,p 
>1,SupE1X.1*<<oo, 则 有 
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《BCsupX msC9supCBXDDT (A. 6) 


其 中 让 十 上 一 1。 
证 明 和 任 取 自 然 数 六 , 令 
FCA = PXI ED 
其 中 XX: 六 SupX， , 则 由 定理 4. 12 


AFCA) EE | eaz 
， 《RN 区 如 
于 是 
ECX) 一 一 frar < [pe Gy di 


< jx Jess and2)dP : 
Ee 让 


一 EBX (XE 《出 Holdor 不 等 式 ) 
IBXIT CECXE ))# 
从 而 (ECXE 97 二 才 9CBX%)7 ,各 由 Fatou 引 理 得 
ECsupX Fg sup CEX:)Y 
定理 4. 15¢ 上 穿 不 等 式 ) 设 {X,F,,1 守 nN} 是 下 蒜 , Ca， 
让 是 一 个 实数 区 间 , 记 Ca,5) 表 未 席 列 半 Xa, Xr, 从 志 a 到 之 
的 次 数 , 则 - 
EfyCa DBX —a)t/ (ba) (A. 7) 


定理 4. 16( 蒜 收效 定理 ) 设 {1X, 多 ,一 co<a<co} 是 下 坎 ， 
条- 一 UF), 则 

a) 存在 x lmnX a BS. 

by BX+ Lo0: i 

cj {一 2 和 ER 所 十 吕 }) 是 下 园 ; 
若 supBX3 < 人 coc* 则 
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存在 X= 二 limX qs} 
e) EXt, 若 对 某 个 z 字 一 00,8% 六 一 20, 则 EE|Xo | 之 00; 
Ff {一 090} 是 下 寺 ， 当 且 公 当 人 x+ ) 一 致 可 积 A 
证 明 4) 记 XX'= lim SUDb 改 ,发 。 一 lim infX. :并 设 PCX' 六 
Y. 0 因为 
{X* x. ;= 人 Blr,s) 
六 各 


其 中 Brr， = >r xX,}, 于 是 存在 有 理 数 rs r>8; 使 POH 
C7,5)) >0, 在 集合 BC7,s) 上 ,XX,,-" ,Xo;, 关 于 区 间 (r,s) 的 上 穿 次 
数 卢 Crs3y 一 十 co 因此 

lim 开 . 一 十 cc 





诅 由 4. 15 
EPA{r— ss) BX) oo 
下 看; | 
by 由 Jesen 不 等 式 , fr 多 一 cco<na<coco) 是 下 蒜 ,BXr 随 ，= 
而 单调 增 ,所 以 由 j 及 Fatou 引 理 
BXta < lim BX SEXY <o0 
c)》 任 取 实数 ,由 Jesen 不 等 式 , {VayF ,一 Cons0} 蚌 下 
蒜 , 且 一 致 可 积 .事实 上 ,Y o>0 
oPX NV eo) | XVa | XVacBXo Va) 


XV ae KX Vee 





从 而 spt(X， V am>e 一 0(c-co)， 理由 上 式 中 间 的 不 等 式 可 知 {X : 


Va,Z. ,co<a 秋 人 是 一 致 可 积 的 下 款 , 设 一 co<m<n<ceo, 则 
7 4 和 ,于 -所 . 灾 ，。 


[x vee | vs 
令 mr 一 ce ,由 一 致 可 积 性 及 四 ,有 
| -Yes | va 
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再 令 oo-* 一 20, 由 Levi 单调 收 化 定理 可 得 
| Xx-< | Xx 
&) 类似 子 间 的 证 法 : 
e) 由 Fatou 引 理 ,EX+ 信 sup8X+ 之 00, 设 有 EX, 六 一 20: 由 于 台 
|X, | 递增, 由 Fatou 引 理 
FE| XX. [<supB |X, [< 2supEXs — EX oo 


nn) 分 性 的 证 明 与 类似 ， 没 { 久 。 多 一 co 区 aco)} 是 下 
贰 , 则 由 Jensen 不 等 式 , (向 ,多 一 cc 所 neo 也 是 下 载 , 在 四 的 
证 明 中 取 a 二 0; 则 知 CX7) 是 一 致 可 积 

定义 4.4 在 定义 4.3 中 ,车 /包含 其 上 确 界 , 则 称 蒜 (或 下 、 
上 热 ) 是 右 闭 的 ， 

站 果 存 在 一 个 可 积 的 随机 变量 9,X,= 二 9]. 多 ,),n 忆 1, 则 称 
{XEL) 为 正则 款 ( 或 Doob 长 ) 。 

关 果 全 onxE 站 是 下 寺 ( 或 上 贡 ) ,而 且 存 在 一 个 可 积 的 随 
机 变量 ,使 得 

{或 相应 地 这 )8(n|- 字 ,) 
则 称 {x%, 多 ,Et 是 加 于 (或 相应 地 强 于 ?正则 讨 的 下 熟 (相应 
地 .上 部 )。 

定理 4 16( 正 则 堵 定 理 ) 设 1 多 1 和 2<co} 是 蒜 , 风 下 
述 命题 等 价 

i) 《X,) 是 正则 著 ， 

i《X,) 是 一 致 可 积 的 鞭 ， 

ii CX 是 六路 仇 的 蒜 ， 即 存 在 可 积 的 随机 变量 7 ,使 得 EB|X， 
—Y|—0; 

iv) (X,) 是 右 闭 的 鞭 。 

证 明 由 地 让 ,首先 supB1X, | 二 妈 之 co; 其 次 Y o>0,56>0 
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sup J he lsup | ,ls | -sapE| 2 
先 令 eco 再 令 扩 -ceo ,要 
imp | X10 
ii) = iii) 。 由 (CxX.) 一致 可 积 ,supB | XX 1<coe ,因此 存在 X= 
fmX ,再 由 4 4 有 [大 一 X | 一 0。 
i)=>iv)。 由 (Xj) 是 上 收 化 的 ,可 见 sup81X,| < 之 co, 妃 B|X, 一 
并 | 一 0 AE .BF 由 于 tt4X.) 也 是 一 致 可 积 的 
| = [gOSZ iim [X= | X= | ex 
从 而 X= 二 吉 (X%|.F。) 是 右 闭 。 
VD , 令 9 一 Xe- . 
定理 4. 18(Levy 定理 ) 设 ”是 可 积 的 随机 变量 , 则 tim (2| 
A) 
证 明 记 半 = 二 B01 了,); 则 CX,) 是 正则 抽 , 它 有 极限 ,只 
要 证 . 
Y AE Fm, | 二 = ] (4. 8) 
外 于 等 式 两 边 都 定义 了 到 < 上 的 测度 ,由 测度 扩张 的 唯一 性 ， 
只 要 证 明 Y AE 这.,(4.8) 式 成 立 。 
Y 六 8 有 


fa J 


由 (的 一 致 可 积 性 ,得 


= jw 
类 似 于 定理 4.17, 有 
定理 4.19 设 {XX ,1 入 4 之 oo) 是 下 载 , 则 焉 列 事实 等 价 
CX) 是 图 干菜 一 正则 加 的 下 表 ， 
* 421 。 





ji (34 一 致 可 积 ， 
i) 121<a<eoo} 是 吉 闭 下 坝 。 
6. 停 时 与 Doob 停止 定理 
定义 4.5 称 取 正 整 值 (包括 十 co) 的 随机 变量 1 为 多, 停 时 ， 
如 果 Y nE.7( 正 整数 集 , 和 二 2}E 多 ,, 当 Pt<co) 一 1 时 , 称 # 为 售 
止 规则 。 
设 ta 才 是 (入) 停 时 , 则 tAortVYo 都 蚌 ( 宁 ,) 停 时 , 令 = 为 停 
时 , 记 
={AE .FAN tr) EF,} 
则 .多 ,也 是 一 个 5 代数 , 称 为 + 前 0 代数。 
引 理 4.20 设 ? 了 是 随机 变量 , 轧 存在 , 则 对 任何 (多 ,) 停 时 7， 
El EF), [t=rlja.s. (CA. 9) 
证 明 记 1 一 i-wt@), 它 是 这 ,可 测 的 随机 变量 ,首先 (ml 
学 ,) 是 实 , 可 测 的 ,容易 看 出 C9]. 站 一 89 这 ,10-n 是 . 匀 , 是 
可 测 的 ,对 任何 Y AE 入 ， 


| eco 


一 | f= Ee] 
| AN tr=u) 


AN tr=a) 


= | AC) 
由 引 理 4 6,] Wm Em) En) ,rn 上 a 8. 
定 建 4.21 设 .多 ,包含 一 切 零 概 集 {X., 祈 .,1&#So0} 是 右 
闲 著 (下 蒜 ),r 与 9 为 两 个 CF.) 停 时 ,or a.s., 则 X= (CR&) 玉 
(A, | oa. s, 
证 明 击 于 4. 17 和 4, 20, 在 Lr<ee 上 
ES=B(N | a.8. 
且 在 [+ 二 oo 上 ,上 式 仍然 成 立 , 因 此 
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BECOX Fo BE | FR, = FA, a.s. 

对 于 下 观 的 Doob 停止 定理 的 证 明 箭 微 复杂 一 些 .可 参考 [3]， 

正文 中 常常 要 用 到 下 述 定 理 。 . 

定理 4.23 设 和 1 多 1 去 as<oo} 是 上 鞭 ， 则 对 任何 (多 ,人 鼻 
时 + 

ij》 {XA 00) 仍 是 上 半 ， 

ii》 若 [之 co ws. ;BX 存在 且 


liminf 其 =0 CA. 10} 


Nn—co 


[| 
则 1 
EX, EX {tn) 上 a. s. 

证 明 让 VY AE 


f= | 性 十 + 态 、 
4 en) AN try 
> | Xt [Xe 
4 门 FS - dN ra) 
一 | sese 
十 


i YY AE FB mn 


| 芝 ， 来 | Xam 

AN Cr) 4 门 tL 

、 = | x+ | 和 
AN Elem A tl 


2 | 六 ,一 | 后 
， A tn A 闪 字 二 》 
令 mm 沿 子 列 mw 一 oo0, 则 


| xx> | x 
AMN tm) A {tier . 


ECX| FIOEX,. Gn) a.s. 
对 下 贰 有 类 似 的 定理 ,此 时 代替 (4. 10) 式 ,需要 


所 以 
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liminf | 站” 一 要 
人 


3 


此 时 车 BX, 人 在 ,cocop ae 则 
下 [基站 
”下 面 的 引 理 4. 24 在 证 明 上 式 时 是 有 用 的 。 

设 {2% 1 才 n 近 co) 是 下 载 ,#X 字 0,. 访 二 [P22) ,XX, 二 0,8 
=X XB) 
n= 1 2， | 

引 理 4.23 设 名 衬 0,t 二 1,2,…, 则 对 一 切 停 时 ? 





2 之 ， 一 区 位， Bly, | )) 
证 明 g( je) 
=E(2 fn) 


co 


-2 | 


= | Elm ls .1) 
k= 1 i 


| =E[> By | 1)] 
引 理 4. 24 ”车 停 时 :< 过 oo as ,满足 
E(B) <o0 
.MY sl ECX | X(t LL a 3. 
证 明 ”由 定理 4. 22, 只 须 证 5X, 存在 , 且 


liminf 和 一 
=} 


由 引 悍 4. 23 


g( 2 六 ) 一 以 之/ by<oo 


‘i 
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因 示 


i 


BX EC ) < 


| :< | Do Sr 人 


在 > 一 二 


定理 4.25 设 ! 所, 多 ,so<doo} 是 款 江 是 任意 停止 规则 


i 车 BX 存在 且 liminf | | 一 0, 测 
EX | Fo Us 上 a gS A=1,2," 





ii) 车 Ey: oo.#=1,2,., liminf | [xX. 一 和, 县 好 一 加 
(C208) 
jy (这 jo.)<oo 或 B22ob)<oo 时 
liminf | Pet=o 
证 明 总 及 证) 的 第 一 部 分 ,由 定理 4. 21, 引 理 4. 23 的 证 明 可 
得 。 
i) 令 名 二 X? 人 ioi, 易 证 (2 ,1< as<eo} 是 粹 ,由 于 
ps 存在, 目 当 WW 充分 大 时 ,[An>>m]= 二 中 ,由 让 可 旬 
Ens OC— ES = 人 0 


上 由 
从 而 BX ,=B( 70), 令 n>oo, 由 Fatou 引 理 


EX? <slimint BX 一 = [ 2)o 


往 证 相反 的 不 等 式 ， 只 要 假定 Xt<o0, 由 于 {多 1， ,1 
三 o0} 是 下 款 , 由 4. 21 中 关于 下 款 的 部 分 
ECX IFN UDL a.s. 
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由 schwarz 不 等 式 
中 ) A , (A 8, 


thn - 
从 而 sx | XX? 十 Xi EXEC Do) ， 念 mco sy 二 
[| ra 1 
(C20), 
击 ) 之 第 二 部 分 , 设 #8(Jo) 之 oo, 先 假定 如 之 oo 之 1, 由 
Schwarz 不 等 式 及 让) 中 所 证 ~ 


EIX EXDE ETE I) Bo 
1 


且 
BAlimint [X=liminf | Xho) <o0 
于 是 
liminf | 让 .| 
ce 
一 Iminf 上. IX| 


Cra | le 


Slimin 2 


ra | 
Har (qroo) 
令 所 二 {>#); 则 


Ey ,= Ey >n) = | og? [Zi< 
而 在 Gn) 上 ,w' == 名 :因此 附加 假设 如 之 2 是 可 以 去 掉 的 。 


了， Wald 引 理 与 Chung 一 Fuchs 定理 
定理 A. 26CWald) 设 {X,,1 护 4<o0} 是 独立 间 分 布 的 随机 变 


量 序列 ,部 分 和 ,= 光 %, 了 是 .9 停 时 ,到 <<co, 如 果 BX 存在 , 则 
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ESs= BEX, HT 
其 中 .=a(X),…、%,)。 


证 明 Sr 一 Xorzw 分 两 种 情形 证 明 + 


i) 百 | 六 | | 达 o0; 因 为 了 ,二 Xr * 心 r 由 单调 收敛 定理 
EOIX, lzn) 


一 | er 
1 


一 BE|X, [PCOTEn) 
nr ] 
一 | | oo 
于 是 由 控制 收 合 定理 


ESr 一 SE EXlrsn = L EXP(TORY 
um mem} 
=EX. 
ji) BX 之 co ,BXt 二 十 290, 于 是 如 让 所 证 


2 
EOF ER KX inn = Be RX oo 
94 一】 
于 是 Sr 存在 ,并 且 


ESr 一 y >) CX — Kr Nps 
*=1 


BO As) BO Kr fas 
= WER BBX- = BT EX, 
iji》BX -二 十 co ,5X17<oo0, 同 样 可 证 ， 
下 面 是 关于 二 阶 抢 的 Wald 定理 。 


定理 4.26 设 {X. an 守 1)iid, BX 二 0. BEX?=0!<co0, BTLo0, 
则 


Eo = oa ET 
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证 明 设 Yo 一 ?Au 它 是 有 界 停 时 , 且 


a-] 
ESF = EC 2 计 jrj; 十 Xr )’ 
ji 一 1 
有 一 下 和 
一 下 人 工大 ai 天 十 2 其 rn ED Xr EXtlyss 
J=1 jl 
a . 
注意 到 17;,* 之 Ar; 是 GD 可 测 的 , 它 与 所 独立 ,所 以 
j= 


za 一 | a 
BX lor YT Xslrms ~ BX Blerzn YL Xlra;—0 
T= =i 
于 是 
BSc) ESF 1 一 EX Crs 一 2 有人 站) 
EStoy = LPTEN Bn) 
j= 关 
因为 了 (Ca 让 于 
litn RS = 9: BT'<L 00 
类 似 地 可 证 limE(S76w 一 rm ) ?二 0, 于 是 存在 慷 La 即 ES:< oo0) » 
使 BlSrm — SS) — 0 oo )., 
最 后 来 证 明 $7 二 $. 事实 上 ,由 均 方 收 族 性 意味 着 依 概 率 的 路 
伊 性 ,从 而 存在 子 列 了 Cm) ,使 gr 一 Sr s 而 当 上 充分 大 时 , 
(ma 三 全 . 因此 条 至 息 , 所 以 
‘n= Ho 
定理 4. 28 (Chung 一 Fuchs 定理 ) 设 {X yn 守 1} ,iid,E|X, 记 
0,EX, 一, 则 


Pllimsup 8 一 十 ce Himinf s% 一 一 ce) 一] 
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三 重 或 妇 重 极限 定理 


广义 停止 规则 
广义 规则 的 特征 


”Doob 一 Moyer 分 解 


ce 一 分布 

分 布 映 射 
R--C 方 各 
Bellmann 方程 
Bayes 风险 
可 选 强 上 黑 
可 选 增 通路 

可 料 

可 和 料 对 倡 投 影 

可 取 停 时 
可 有 取 策略 

可 数 生成 

可 拒绝 的 秘书 问题 
可 捆 回 的 秘书 问题 
右 半 上 连续 
右 半 下 连续 

有 连续 适应 过 程 
正则 函数 

正则 性 
本 质 上 确 界 


” 
| 


引 


5, § 3.6, §4,.4, 35.2,86.3 


1:82.7 


.1,84.5 
.7,82.9 


‘2, 85.5,85.6 
6,83.6,84.2,84.3, 86,.2 
.11 : 
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半 最 优 
举 群 
Snell 包 
列 紧 
对 偶 问 题 
止 共 斩 函 数 
平衡 停止 策略 
Feller 证 程 
，Poisson 过 程 
MRS 过 程 
B( 值 ) 过 程 
有 限 情 形 
有 效 规 则 
多 数 原则 
` 多 约束 下 的 最 优 停 止 
协调 n 可取 
过 份 函 数 
凸 集 的 端点 
齐 次 马 氏 过 程 
Wold 序 货 概率 比 检验 
序 贯 Bayes 方法 
8B 一 忆 拓 扑 
安 , 连 续 ( i 下 半 连 续 ) 
拟 左 上 半 连 续 
拟 左 连续 
严格 可 取 
两 次 停 时 
投资 问题 
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or "ss 
也 上 一 
+ 国 
en 
bb 


二 
[re] 
1 


se 
un 


2, §4.3,86.3 


判决 空间 
条 件 A， 
条 件 A 
条 忻 A'， 
条 件 A(C 候 设 A) 
A+ 条 件 
和 -条件 


a 条 件 

A:* 条 件 

条 件 ii) 

单调 情形 
Borel 集 初 遇 
股票 市 场 
转移 报酬 
choguet 定理 
参数 空间 
Lagrange 函数 
值 函 数 

复合 停止 规则 
战争 中 最 优 停 目 
相对 名 次 
秘书 问题 
窃贼 问题 
绝对 最 优 规 则 
标准 马 氏 过 程 
类 了 过程 
类 RR 过 程 


§871 

§ 2.1, §2.4,§2.5,§2.7;,82.8 

§ 2.1, 82.7, $82.8 

§ 2.9,83.1 

§ 2.9, § 4.1, 8 4.3,84.5 

§ 3.6,83.9,85.1,85,4 

§ 3.3, §3.4, §3.8, §3.9, §5.3, 

§5.6,86.1 

§ 3.5,85.6 

§ 2.7 

§ 4.3, 8 4.4 

§ 2.4, $4.6 

§ 3.4 

§ 7.4 

$6.2 
5 
1 


~§6, 


§7. 
§ 2.10 

§3.1, 383.1 
§7.4 

§7.5 

§ 1.2 

引 论 , $1. 2, 3 3.1 
引 论 , $ 2. 4 

§ 2.13 


.$5.1 


8 6,5 
§ 6.5. 
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. 损失 函数 $7.1 
带 约束 的 最 优 停止 § 2,10 
常 观察 费用 的 最 优 停止 。§ 3. 11 


假设 B § 4.2, § 4,.3, 8 4,4 
推移 算 子 . § 3,.2, § 5.1 
继续 观察 域 § 3.1 

停 时 类 的 紧 性 § 4.7 
停 时 充足 类 § 3.10 
停止 报酬 2 

停 点 §6.1 

停车 问题 1 引 论 

停止 规则 §2.0 

停止 域 3 3.1 

最 小 最 优 规则 82.7 

最 小 过 份 控 制 § 3.3, § 5.2 
最 大 最 优 规则 82.7 

最 大 可 取 § 2.1 

最 优 停 时 的 唯一 性 2.8,34.5 
最 优 策 略 §6.2 

最 优派 送 $7.3 

最 优 序 贯 Bayes 检验 §7.2 

(Cz 一 Vv) 最 优 ,s 景 优 3.1,345, 38353854 $86.7 
弱 有 效 规则 § 2.13 

弱 收 谎 8 4.7 

随机 北 可 选 增 道路 §6.4 

随机 化 策略 | § 6.4 

随机 化 停 时 § 3.10, 8 4.7 
策略 §6.1 
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截 口 定理 
模糊 集 


§ 4.1 
81.3 
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